Hoe installeer je Hadoop op UbuntuDownload- en installatiestappen

In deze handleiding nemen we je stap voor stap mee door het proces van het installeren van Apache Hadoop op een Linux-systeem.UbuntuDit is een proces in twee stappen: eerst de release downloaden en installeren, en vervolgens configureren.

Er zijn twee voorwaarden:

• U moet beschikken over Ubuntu geïnstalleerd en rennen.
• U moet beschikken over Java geïnstalleerd.

Opmerkingen over Hadoop 3.x-versies voor deze configuratie

De schermafbeeldingen in deze handleiding zijn gemaakt met Hadoop 2.2.0. De volgorde van de stappen is ongewijzigd in de huidige versies, maar een aantal namen en standaardwaarden zijn gewijzigd. Controleer de onderstaande tabel voordat u een opdracht letterlijk overneemt.

Al het andere in deze handleiding werkt op dezelfde manier in Hadoop 3: het speciale account, de SSH-sleutel, de vier configuratiebestanden en de start- en stopscripts.

Deel 1) Download en installeer Hadoop

Stap 1) Voeg een Hadoop-systeemgebruiker toe

Voeg een Hadoop-systeemgebruiker toe met behulp van de onderstaande opdracht.

sudo addgroup hadoop_

sudo adduser --ingroup hadoop_ hduser_

Voer uw wachtwoord, naam en andere gegevens in.

NOTITIE: Tijdens het installatie- en configuratieproces bestaat de mogelijkheid dat de onderstaande fout optreedt.

“hduser staat niet in het sudoers-bestand. Dit incident zal worden gerapporteerd.”

Deze fout kan worden verholpen door in te loggen als root-gebruiker.

Voer het commando uit

sudo adduser hduser_ sudo

Re-login as hduser_

Stap 2) Configureer SSH

Om knooppunten in een cluster te beheren, heeft Hadoop SSH-toegang nodig.

Wissel eerst van gebruiker en voer de volgende opdracht in

su - hduser_

Met deze opdracht wordt een nieuwe sleutel gemaakt.

ssh-keygen -t rsa -P ""

Schakel SSH-toegang tot de lokale machine in met behulp van deze sleutel.

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Test nu de SSH-configuratie door als gebruiker 'hduser_' verbinding te maken met localhost.

ssh localhost

Let op: Als je de onderstaande foutmelding ziet als reactie op 'ssh localhost', is de kans groot dat SSH niet beschikbaar is op dit systeem.

Om dit op te lossen –

SSH opschonen met behulp van,

sudo apt-get purge openssh-server

Het is raadzaam om de systeembestanden te wissen voordat u met de installatie begint.

Installeer SSH met behulp van de opdracht-

sudo apt-get install openssh-server

Stap 3) Download Hadoop

De volgende stap is het downloaden van Hadoop van de Apache Hadoop releasespagina.

Selecteer Stabiel

Selecteer het tar.gz-bestand (niet het bestand dat eindigt op src).

Zodra de download is voltooid, navigeer je naar de map waarin het tar-bestand zich bevindt.

Enter,

sudo tar xzf hadoop-2.2.0.tar.gz

Hernoem nu hadoop-2.2.0 naar hadoop.

sudo mv hadoop-2.2.0 hadoop

Geef de map ten slotte door aan het nieuwe account.

sudo chown -R hduser_:hadoop_ hadoop

Vervang de versie die je daadwerkelijk hebt gedownload door hadoop-2.2.0 in de drie bovenstaande commando's.

Deel 2) Hadoop configureren

Stap 1) Wijzig het bestand ~/.bashrc

Voeg de volgende regels toe aan het einde van het bestand ~/.bashrc.

#Set HADOOP_HOME
export HADOOP_HOME=<Installation Directory of Hadoop>
#Set JAVA_HOME
export JAVA_HOME=<Installation Directory of Java>
# Add bin/ directory of Hadoop to PATH
export PATH=$PATH:$HADOOP_HOME/bin

Laad nu deze omgevingsconfiguratie in met behulp van de onderstaande opdracht.

. ~/.bashrc

Stap 2) Configuraties met betrekking tot HDFS

Stel JAVA_HOME in het bestand $HADOOP_HOME/etc/hadoop/hadoop-env.sh in, zoals hieronder weergegeven.

Met

Er zijn twee parameters in $HADOOP_HOME/etc/hadoop/core-site.xml die ingesteld moeten worden.

1. 'hadoop.tmp.dir' – Wordt gebruikt om een ​​map op te geven die door Hadoop wordt gebruikt voor het opslaan van gegevensbestanden.

2. 'fs.defaultFS' – Hiermee wordt het standaardbestandssysteem gespecificeerd. De oudere naam voor dezelfde eigenschap, 'fs.default.name', is verouderd.

Om deze parameters in te stellen, opent u core-site.xml

sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml

Kopieer de onderstaande regels tussen de tags.

<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>Parent directory for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS </name>
<value>hdfs://localhost:54310</value>
<description>The name of the default file system. </description>
</property>

Navigeer naar de map $HADOOP_HOME/etc/hadoop.

Maak nu de map aan die in core-site.xml wordt genoemd.

sudo mkdir -p <Path of Directory used in above setting>

Verleen machtigingen aan de map.

sudo chown -R hduser_:Hadoop_ <Path of Directory created in above step>

sudo chmod 750 <Path of Directory created in above step>

Stap 3) MapReduce-configuratie

Voordat we met deze configuraties beginnen, stellen we eerst het HADOOP_HOME-pad in.

sudo gedit /etc/profile.d/hadoop.sh

En kom binnen

export HADOOP_HOME=/home/guru99/Downloads/Hadoop

Volgende invoer

sudo chmod +x /etc/profile.d/hadoop.sh

Sluit de terminal af en start hem opnieuw op.

Typ `echo $HADOOP_HOME` om het pad te controleren.

Kopieer nu bestanden

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

Open het bestand mapred-site.xml

sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml

Voeg de onderstaande instellingen toe tussen de En labels.

<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:54311</value>
<description>MapReduce job tracker runs at this host and port.
</description>
</property>

Open $HADOOP_HOME/etc/hadoop/hdfs-site.xml zoals hieronder,

sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Voeg de onderstaande instellingen toe tussen de En tags.

<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hduser_/hdfs</value>
</property>

Maak de map aan die in de bovenstaande instellingen is opgegeven.

sudo mkdir -p <Path of Directory used in above setting>

sudo mkdir -p /home/hduser_/hdfs

Vervolgens moet je het eigendom en de benodigde rechten verlenen.

sudo chown -R hduser_:hadoop_ <Path of Directory created in above step>

sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs

sudo chmod 750 <Path of Directory created in above step>

sudo chmod 750 /home/hduser_/hdfs

Stap 4) HDFS formatteren

Voordat we Hadoop voor de eerste keer starten, formatteer je HDFS met behulp van de onderstaande opdracht.

$HADOOP_HOME/bin/hdfs namenode -format

Stap 5) Start het Hadoop-cluster met één knooppunt

Start het Hadoop-cluster met één knooppunt met behulp van de onderstaande opdracht.

$HADOOP_HOME/sbin/start-dfs.sh

De uitvoer van bovenstaande opdracht wordt hieronder weergegeven.

Start vervolgens de YARN-daemons.

$HADOOP_HOME/sbin/start-yarn.sh

Controleer met behulp van de 'jps'-tool of alle Hadoop-gerelateerde processen actief zijn.

Als Hadoop succesvol is opgestart, zou de jps-uitvoer de volgende gegevens moeten weergeven: NameNode, NodeManager, ResourceManager, SecondaryNameNode en DataNode.

Stap 6) Stopping Hadoop

Schakel het cluster in omgekeerde volgorde uit.

$HADOOP_HOME/sbin/stop-dfs.sh

$HADOOP_HOME/sbin/stop-yarn.sh

Hoe controleer je of Hadoop actief is en hoe los je veelvoorkomende fouten op?

De jps-uitvoer bevestigt dat de processen zijn gestart, maar niet dat het cluster bruikbaar is. Vier extra controles geven uitsluitsel over die kwestie.

• Open de NameNode-webinterface op http://localhost:9870 (poort 50070 op Hadoop 2.x) en bevestig dat het overzicht één actieve node rapporteert.
• Open de ResourceManager-interface op http://localhost:8088 om te bevestigen dat YARN de NodeManager heeft geaccepteerd.
• lopen hdfs dfsadmin -report voor capaciteit, actieve DataNodes en eventuele ondergerepliceerde blokken.
• Schrijf iets: hdfs dfs -mkdir /test gevolgd door hdfs dfs -ls / bewijst dat de naamruimte wijzigingen accepteert.

De meeste mislukkingen bij een eerste poging vallen in één van de vijf categorieën.

Veelgestelde vragen