Wie installiert man Hadoop auf UbuntuDownload- und Installationsschritte

In diesem Tutorial führen wir Sie Schritt für Schritt durch die Installation von Apache Hadoop auf einem Linux-System (UbuntuDies ist ein zweistufiger Prozess: Zuerst muss die Version heruntergeladen und installiert werden, anschließend muss sie konfiguriert werden.

Es gibt zwei Voraussetzungen:

• Sie müssen Ubuntu installiert und läuft.
• Sie müssen Java installiert.

Hinweise zur Hadoop 3.x-Version für diese Konfiguration

Die Screenshots in dieser Anleitung wurden unter Hadoop 2.2.0 erstellt. Die Abfolge der Schritte ist in aktuellen Versionen unverändert, jedoch haben sich einige Namen und Standardeinstellungen geändert. Überprüfen Sie die untenstehende Tabelle, bevor Sie einen Befehl unverändert übernehmen.

Alles andere in diesem Leitfaden verhält sich auf Hadoop 3 genauso: das dedizierte Konto, der SSH-Schlüssel, die vier Konfigurationsdateien sowie die Start- und Stoppskripte.

Teil 1) Hadoop herunterladen und installieren

Schritt 1) ​​Fügen Sie einen Hadoop-Systembenutzer hinzu

Fügen Sie mit dem folgenden Befehl einen Hadoop-Systembenutzer hinzu.

sudo addgroup hadoop_

sudo adduser --ingroup hadoop_ hduser_

Geben Sie Ihr Passwort, Ihren Namen und weitere Details ein.

Anmerkungen: Bei diesem Einrichtungs- und Installationsprozess besteht die Möglichkeit, dass der unten genannte Fehler auftritt.

„hduser ist nicht in der sudoers-Datei. Dieser Vorfall wird gemeldet.“

Dieser Fehler kann durch Anmeldung als Root-Benutzer behoben werden.

Führen Sie den Befehl aus

sudo adduser hduser_ sudo

Re-login as hduser_

Schritt 2) SSH konfigurieren

Zur Verwaltung der Knoten in einem Cluster benötigt Hadoop SSH-Zugriff.

Wechseln Sie zunächst den Benutzer und geben Sie den folgenden Befehl ein

su - hduser_

Dieser Befehl erstellt einen neuen Schlüssel.

ssh-keygen -t rsa -P ""

Aktivieren Sie den SSH-Zugriff auf den lokalen Rechner mithilfe dieses Schlüssels.

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Testen Sie nun die SSH-Einrichtung, indem Sie sich als Benutzer 'hduser_' mit localhost verbinden.

ssh localhost

Hinweis: Wenn Sie als Antwort auf 'ssh localhost' die unten stehende Fehlermeldung sehen, besteht die Möglichkeit, dass SSH auf diesem System nicht verfügbar ist.

Um dieses Problem zu lösen –

Bereinigen Sie SSH mit:

sudo apt-get purge openssh-server

Es empfiehlt sich, vor Beginn der Installation eine Spülung durchzuführen.

Installieren Sie SSH mit dem Befehl-

sudo apt-get install openssh-server

Schritt 3) Laden Sie Hadoop herunter

Der nächste Schritt besteht darin, Hadoop von der Website herunterzuladen. Apache Hadoop-Releases-Seite.

Wählen Sie Stabil aus

Wählen Sie die tar.gz-Datei aus (nicht die Datei, die auf src endet).

Sobald der Download abgeschlossen ist, navigieren Sie zu dem Verzeichnis, das die tar-Datei enthält.

Geben Sie,

sudo tar xzf hadoop-2.2.0.tar.gz

Benennen Sie nun hadoop-2.2.0 in hadoop um.

sudo mv hadoop-2.2.0 hadoop

Zum Schluss übergeben Sie den Ordner an das neue Konto.

sudo chown -R hduser_:hadoop_ hadoop

Ersetzen Sie die tatsächlich heruntergeladene Version durch hadoop-2.2.0 in den drei oben genannten Befehlen.

Teil 2) Hadoop konfigurieren

Schritt 1) ​​Bearbeiten Sie die Datei ~/.bashrc.

Fügen Sie die folgenden Zeilen am Ende der Datei ~/.bashrc hinzu.

#Set HADOOP_HOME
export HADOOP_HOME=<Installation Directory of Hadoop>
#Set JAVA_HOME
export JAVA_HOME=<Installation Directory of Java>
# Add bin/ directory of Hadoop to PATH
export PATH=$PATH:$HADOOP_HOME/bin

Laden Sie nun diese Umgebungskonfiguration mit dem folgenden Befehl.

. ~/.bashrc

Schritt 2) Konfigurationen im Zusammenhang mit HDFS

Setzen Sie JAVA_HOME in der Datei $HADOOP_HOME/etc/hadoop/hadoop-env.sh, wie unten gezeigt.

Mit

In der Datei $HADOOP_HOME/etc/hadoop/core-site.xml müssen zwei Parameter festgelegt werden.

1. 'hadoop.tmp.dir' – Wird verwendet, um ein Verzeichnis anzugeben, das von Hadoop zum Speichern seiner Datendateien verwendet wird.

2. 'fs.defaultFS' – Hiermit wird das Standarddateisystem festgelegt. Die ältere Bezeichnung für dieselbe Eigenschaft, 'fs.default.name', ist veraltet.

Um diese Parameter festzulegen, öffnen Sie core-site.xml

sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml

Kopieren Sie die folgenden Zeilen zwischen die Tags.

<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>Parent directory for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS </name>
<value>hdfs://localhost:54310</value>
<description>The name of the default file system. </description>
</property>

Navigieren Sie zum Verzeichnis $HADOOP_HOME/etc/hadoop.

Erstellen Sie nun das in core-site.xml erwähnte Verzeichnis.

sudo mkdir -p <Path of Directory used in above setting>

Berechtigungen für das Verzeichnis erteilen.

sudo chown -R hduser_:Hadoop_ <Path of Directory created in above step>

sudo chmod 750 <Path of Directory created in above step>

Schritt 3) MapReduce-Konfiguration

Bevor Sie mit diesen Konfigurationen beginnen, legen wir zunächst den Pfad HADOOP_HOME fest.

sudo gedit /etc/profile.d/hadoop.sh

Und treten Sie ein

export HADOOP_HOME=/home/guru99/Downloads/Hadoop

Als nächstes eingeben

sudo chmod +x /etc/profile.d/hadoop.sh

Schließen Sie das Terminal und starten Sie es neu.

Geben Sie echo $HADOOP_HOME ein, um den Pfad zu überprüfen.

Kopieren Sie nun die Dateien

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

Öffnen Sie die Datei mapred-site.xml.

sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml

Fügen Sie die folgenden Einstellungen zwischen den folgenden ein: Und Tags.

<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:54311</value>
<description>MapReduce job tracker runs at this host and port.
</description>
</property>

Öffnen Sie $HADOOP_HOME/etc/hadoop/hdfs-site.xml wie folgt:

sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Fügen Sie die folgenden Einstellungen zwischen den Und Tags.

<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hduser_/hdfs</value>
</property>

Erstellen Sie das oben angegebene Verzeichnis.

sudo mkdir -p <Path of Directory used in above setting>

sudo mkdir -p /home/hduser_/hdfs

Anschließend werden Eigentumsrechte und Berechtigungen dafür vergeben.

sudo chown -R hduser_:hadoop_ <Path of Directory created in above step>

sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs

sudo chmod 750 <Path of Directory created in above step>

sudo chmod 750 /home/hduser_/hdfs

Schritt 4) HDFS formatieren

Bevor wir Hadoop zum ersten Mal starten, formatieren Sie HDFS mit dem folgenden Befehl.

$HADOOP_HOME/bin/hdfs namenode -format

Schritt 5) Starten Sie den Hadoop-Einzelknotencluster

Starten Sie den Hadoop-Einzelknotencluster mit dem folgenden Befehl.

$HADOOP_HOME/sbin/start-dfs.sh

Die Ausgabe des obigen Befehls wird unten angezeigt.

Starten Sie anschließend die YARN-Daemons.

$HADOOP_HOME/sbin/start-yarn.sh

Überprüfen Sie mithilfe des Tools „jps“, ob alle Hadoop-bezogenen Prozesse ausgeführt werden.

Wenn Hadoop erfolgreich gestartet wurde, sollte die jps-Ausgabe NameNode, NodeManager, ResourceManager, SecondaryNameNode und DataNode auflisten.

Schritt 6) Stoppping Hadoop

Schalten Sie den Cluster in umgekehrter Reihenfolge ab.

$HADOOP_HOME/sbin/stop-dfs.sh

$HADOOP_HOME/sbin/stop-yarn.sh

Wie man überprüft, ob Hadoop ausgeführt wird, und häufige Fehler behebt

Die Ausgabe von jps bestätigt zwar den Start der Prozesse, aber nicht die Nutzbarkeit des Clusters. Vier zusätzliche Prüfungen klären diese Frage.

• Öffnen Sie die NameNode-Weboberfläche unter http://localhost:9870 (Port 50070 auf Hadoop 2.x) und bestätigen Sie, dass die Zusammenfassung einen aktiven Knoten meldet.
• Öffnen Sie die ResourceManager-Oberfläche unter http://localhost:8088 um zu bestätigen, dass YARN den NodeManager akzeptiert hat.
• Führen Sie hdfs dfsadmin -report zur Kapazitätsprüfung, für aktive DataNodes und für alle nicht replizierten Blöcke.
• Schreibe etwas: hdfs dfs -mkdir /test gefolgt von hdfs dfs -ls / beweist, dass der Namensraum Änderungen akzeptiert.

Die meisten Misserfolge beim ersten Versuch lassen sich in eine von fünf Kategorien einteilen.

Häufig gestellte Fragen