ZooKeeper-Tutorial

Was ist ein verteiltes System?

Eine verteilte Anwendung ist eine Anwendung, die auf mehreren Systemen in einem Netzwerk ausgeführt werden kann. Sie wird gleichzeitig ausgeführt, indem sie sich koordiniert, um eine bestimmte Aufgabe zu erledigen. Die Ausführung dieser Aufgaben kann bei einer nicht verteilten Anwendung mehrere Stunden dauern.

Was ist Zookeeper?

Apache Zookeeper ist ein verteilter Open-Source-Koordinierungsdienst, der bei der Verwaltung einer großen Anzahl von Hosts hilft. Verwaltung und Koordination in einer verteilten Umgebung sind schwierig. Zookeeper automatisiert diesen Prozess und ermöglicht es Entwicklern, sich auf die Entwicklung von Softwarefunktionen zu konzentrieren, anstatt sich um deren verteilte Natur zu kümmern.

Zookeeper hilft Ihnen bei der Verwaltung von Konfigurationsinformationen, Benennungen und Gruppendiensten für verteilte Anwendungen. Es implementiert verschiedene Protokolle im Cluster, sodass die Anwendung diese nicht selbst implementieren muss. Es bietet eine einzige zusammenhängende Ansicht mehrerer Maschinen.

Warum Apache Zookeeper?

Hier sind wichtige Gründe für die Beliebtheit des Zookeepers:

• Es ermöglicht gegenseitigen Ausschluss und Zusammenarbeit zwischen Serverprozessen
• Es stellt sicher, dass Ihre Anwendung konsistent läuft.
• Der Transaktionsprozess wird niemals teilweise abgeschlossen. Es erhält entweder den Status „Erfolgreich“ oder „Misserfolg“. Der verteilte Zustand kann aufrechterhalten werden, aber es ist niemals falsch
• Unabhängig davon, mit welchem ​​Server er sich verbindet, kann ein Client dieselbe Ansicht des Dienstes sehen
• Hilft Ihnen, die Daten gemäß dem spezifischen Regelwerk zu kodieren
• Es hilft, einen standardisierten hierarchischen Namespace ähnlich wie Dateien und Verzeichnisse beizubehalten
• Computer, die als einzelnes System laufen und lokal oder geografisch verbunden sein können
• Es ermöglicht das Beitreten/Verlassen von Knoten in einem Cluster und den Knotenstatus in Echtzeit
• Sie können die Leistung steigern, indem Sie mehr Maschinen bereitstellen
• Es ermöglicht Ihnen, einen Knoten als Leiter zu wählen, um die Koordination zu verbessern
• ZooKeeper arbeitet schnell mit Workloads, bei denen das Lesen der Daten häufiger vorkommt als das Schreiben

Zookeeper Architecture: Wie funktioniert es?

Hier eine kurze Erklärung dazu Apache Zookeeper-Architektur:

• Zookeeper folgt einem Client-Server Architektur
• Alle Systeme speichern eine Kopie der Daten
• Führungskräfte werden beim Start gewählt

Server: Der Server sendet eine Bestätigung, wenn ein Client eine Verbindung herstellt. Falls vom verbundenen Server keine Antwort erfolgt, leitet der Client die Nachricht automatisch an einen anderen Server weiter.

Kunden: Der Client ist einer der Knoten im verteilten Anwendungscluster. Er hilft Ihnen, auf Informationen vom Server zuzugreifen. Jeder Client sendet in regelmäßigen Abständen eine Nachricht an den Server, die dem Server mitteilt, dass der Client aktiv ist.

Spitzenreiter: Einer der Server wird zum Leader ernannt. Es gibt den Clients alle Informationen sowie eine Bestätigung, dass der Server aktiv ist. Es führt eine automatische Wiederherstellung durch, wenn einer der verbundenen Knoten ausfällt.

Anhänger: Ein Serverknoten, der den Leader-Anweisungen folgt, wird als Follower bezeichnet.

• Client-Leseanfragen werden vom entsprechend verbundenen Zookeeper-Server bearbeitet
• Die Client-Schreibanforderungen werden vom Zookeeper-Leiter bearbeitet.

Ensemble/Cluster: Gruppe von Zookeeper-Servern, die Ensemble oder a genannt wird Cluster. Sie können die ZooKeeper-Infrastruktur im Clustermodus verwenden, um das System auf den optimalen Wert zu bringen, wenn Sie Apache ausführen.

ZooKeeper-WebUI: Wenn Sie mit der ZooKeeper-Ressourcenverwaltung arbeiten möchten, müssen Sie diese verwenden WebUI. Es ermöglicht die Arbeit mit ZooKeeper über die Web-Benutzeroberfläche, anstatt die Befehlszeile zu verwenden. Es bietet eine schnelle und effektive Kommunikation mit der ZooKeeper-Anwendung.

Das Zookeeper-Datenmodell (ZDM)

In diesem ZooKeeper-Tutorial lernen wir nun das Zookeeper-Datenmodell kennen. Die folgende Abbildung erläutert das Apache Zookeeper-Datenmodell:

• Das Zookeeper-Datenmodell folgt einem hierarchischen Namespace, in dem jeder Knoten als ZNode bezeichnet wird. Ein Knoten ist ein System, auf dem der Cluster ausgeführt wird.
• Jeder ZNode verfügt über Daten. Es kann Kinder haben oder auch nicht
• ZNode-Pfade:
  • Kanonisch, durch Schrägstrich getrennt und absolut
  • Verwenden Sie keine relativen Referenzen
  • Namen können Unicode-Zeichen enthalten
• ZNode behält die Statistikstruktur und die Versionsnummer für Datenänderungen bei.

Arten von Zookeeper-Knoten

Es gibt drei Arten von Znodes:

Beharrlichkeit Znode: Dieser Znode-Typ bleibt auch dann aktiv, wenn der Client, der diesen bestimmten Znode erstellt hat, getrennt wird. Standardmäßig sind in zookeeper alle Knoten persistent, wenn dies nicht angegeben ist.

Flüchtig Znode: Diese Art von Zookeeper-Znode bleibt aktiv, bis der Client aktiv ist. Wenn die Verbindung zwischen dem Client und dem Zookeeper unterbrochen wird, wird er daher ebenfalls gelöscht. Darüber hinaus ist es ephemeren Knoten nicht gestattet, untergeordnete Knoten zu haben.

Sequenziell Znode: Sequentielle Znodes können entweder kurzlebig oder dauerhaft sein. Wenn also ein neuer Znode als sequentieller Znode erstellt wird. Sie können den Pfad des Znodes zuweisen, indem Sie dem ursprünglichen Namen eine 10-stellige Sequenznummer hinzufügen.

ZDM-Uhren

Zookeeper, ein Überwachungsereignis ist ein einmaliger Auslöser, der an den Client gesendet wird, der die Überwachung eingestellt hat. Es tritt auf, wenn sich Daten von dieser Überwachung ändern. Mit der ZDM-Überwachung können Clients Benachrichtigungen erhalten, wenn sich der Znode ändert. ZDM-Lesevorgänge wie getData(), getChidleren() usw. bieten die Möglichkeit, eine Überwachung einzustellen.

Uhren sind geordnet, die Reihenfolge der Überwachungsereignisse entspricht der Reihenfolge der Aktualisierungen. Ein Client kann ein Überwachungsereignis für Znode sehen, bevor er die neuen Daten sieht, die diesem Znode entsprechen.

ZDM-Zugriffskontrollliste

Zookeeper verwendet ACLs, um den Zugriff auf seine Znodes zu steuern. ACL besteht aus einem Paar (Schema: ID, Berechtigung)

Eingebaute ACL-Schemata:

Welt: hat eine einzige ID, jeder

auth: Keine ID verwenden, sondern einen authentifizierten Benutzer darstellen

Digest: Verwenden Sie einen Benutzernamen: Passwort

host: Ermöglicht die Verwendung des Hostnamens des Clients als ACL-ID-Identität

IP: Verwenden Sie die IP-Adresse des Client-Hosts als ACL-ID-Identität

ACL-Berechtigungen:

• CREATE
• weiter LESEN
• SCHREIBEN
• LÖSCHEN
• ADMINISTRATOR

Ex (IP: 192.168.0.0/16, READ)

Die ZKS – Sitzungszustände und Lebensdauer

• Bevor eine Anfrage ausgeführt wird, ist es wichtig, dass der Client eine Sitzung mit dem Dienst aufbaut
• Alle Vorgänge, die Clients an den Dienst senden, werden automatisch einer Sitzung zugeordnet.
• Der Client kann sich mit jedem Server im Cluster verbinden. Er verbindet sich jedoch nur mit einem einzigen Server.
• Die Sitzung bietet „Auftragsgarantien“. Die Anforderungen in der Sitzung werden in FIFO-Reihenfolge ausgeführt
• Die Hauptzustände einer Sitzung sind 1) Verbindung herstellen, 2) Verbunden, 3) Geschlossen, 4) Nicht verbunden.

So installieren Sie ZooKeeper

Schritt 1) Klicken Sie auf „Weiter zum Abonnieren“.
Gehe dahin Link und klicken Sie auf „Weiter zum Abonnieren“.

Schritt 2) Akzeptieren Sie die Allgemeinen Geschäftsbedingungen
Akzeptieren Sie auf der nächsten Seite die Lizenzvereinbarung

Schritt 3) Dankesnachricht angezeigt
Sie sehen die folgende Meldung

Schritt 4) Klicken Sie auf „Weiter zur Konfiguration“.
Aktualisieren Sie die Seite nach 5 Minuten und fahren Sie mit der Konfiguration fort

Schritt 5) Klicken Sie auf „Weiter zum Starten“.
Starten Sie im nächsten Bildschirm ZooKeeper

Schritt 6) Herzlichen Glückwunsch!
Du bist fertig!

Apache ZooKeeper-Anwendungen

Apache Zookeeper wird für folgende Zwecke verwendet:

• Verwalten der Konfiguration
• Namensdienste
• Den Anführer wählen
• Die Nachrichten in die Warteschlange stellen
• Verwaltung des Benachrichtigungssystems
• Synchronisation
• Verteilt Cluster Management

Unternehmen, die Zookeeper nutzen

• Yahoo
• Facebook
• eBay
• Twitter
• Netflix
• Zynga
• Nutanix

Nachteile der Verwendung von Zookeeper

• Wenn Sie neue Zookeeper-Server hinzufügen, kann es zu Datenverlust kommen
• Für Benutzer ist keine Migration zulässig
• Wir bieten keine Unterstützung für die Platzierung und Sensibilisierung des Racks
• Mit Zookeeper können Sie die Anzahl der Pods nicht reduzieren, um versehentlichen Datenverlust zu verhindern
• Sie können den Dienst nicht auf Hostnetzwerke umstellen, ohne eine vollständige Neuinstallation durchzuführen, wenn der Dienst in einem virtuellen Netzwerk bereitgestellt wird.
• Der Dienst unterstützt keine Änderung der Volumenanforderungen nach Abschluss der ersten Bereitstellung
• Es sind viele Knoten beteiligt, daher kann es mehrere Fehlerquellen geben
• Nachrichten können im Kommunikationsnetzwerk verloren gehen, was eine spezielle Software erfordert, um sie wiederherzustellen

Zusammenfassung

• Eine verteilte Anwendung ist eine Anwendung, die auf mehreren Systemen in einem Netzwerk ausgeführt werden kann
• Apache Zookeeper ist ein verteilter Open-Source-Koordinierungsdienst, der Sie bei der Verwaltung einer großen Anzahl von Hosts unterstützt
• Es ermöglicht gegenseitigen Ausschluss und Zusammenarbeit zwischen Serverprozessen
• Server, Client, Leader, Follower, Ensemble/Cluster, ZooKeeper WebUI sind wichtige Zookeeper-Komponenten
• Drei Arten von Z-Knoten sind Persistenz, Ephemer und Sequentiell
• Die ZDM-Überwachung ist ein einmaliger Auslöser, der an den Client gesendet wird, der die Überwachung eingestellt hat. Es trat auf, als sich die Daten dieser Uhr änderten
• Zookeeper Hadoop verwendet ACLs, um den Zugriff auf seine Znodes zu steuern
• Verwalten der Konfiguration, Benennen von Diensten, Auswählen des Leiters, Einreihen der Nachrichten in die Warteschlange, Verwalten des Benachrichtigungssystems, SyncHronisierung, verteilt Cluster Management usw.
• Yahoo, Facebook, eBay, Twitter, Netflix sind einige bekannte Unternehmen, die zookeeper verwenden
• Der Hauptnachteil des Tools besteht darin, dass es zu Verlusten kommen kann, wenn Sie neue Zookeeper-Server hinzufügen