Hogyan telepítsük a Hadoop-ot? UbuntuLetöltési és beállítási lépések

Ebben az oktatóanyagban lépésről lépésre bemutatjuk, hogyan telepítheti az Apache Hadoop-ot egy Linux rendszerre (Ubuntu). Ez egy két részből álló folyamat: először töltse le és telepítse a kiadást, majd konfigurálja.

Két előfeltétel van:

• Biztos van Ubuntu telepítve és futás.
• Biztos van Java telepítve.

Hadoop 3.x verzió megjegyzései ehhez a beállításhoz

Az ebben az útmutatóban található képernyőképek Hadoop 2.2.0-s verzióban készültek. A lépések sorrendje változatlan a jelenlegi kiadásokban, de néhány név és alapértelmezett érték átkerült. Ellenőrizze az alábbi táblázatot, mielőtt bármilyen parancsot szó szerint átmásolna.

Az útmutatóban szereplő összes többi elem ugyanúgy viselkedik a Hadoop 3 rendszeren: a dedikált fiók, az SSH-kulcs, a négy konfigurációs fájl, valamint a start és stop szkriptek.

1. rész) Töltse le és telepítse a Hadoop programot

1. lépés) Hadoop rendszerfelhasználó hozzáadása

Adjon hozzá egy Hadoop rendszerfelhasználót az alábbi paranccsal.

sudo addgroup hadoop_

sudo adduser --ingroup hadoop_ hduser_

Adja meg jelszavát, nevét és egyéb adatait.

JEGYZET: A telepítési és beállítási folyamat során előfordulhat az alább említett hiba.

"hduser nincs a sudoers fájlban. Erről az esetről beszámolunk.”

Ez a hiba root felhasználóként való bejelentkezéssel oldható meg.

Végezzük el a parancsot

sudo adduser hduser_ sudo

Re-login as hduser_

2. lépés: Konfigurálja az SSH-t

A fürt csomópontjainak kezeléséhez a Hadoop SSH hozzáférést igényel.

Először váltson felhasználót, írja be a következő parancsot

su - hduser_

Ez a parancs új kulcsot hoz létre.

ssh-keygen -t rsa -P ""

Engedélyezze az SSH-hozzáférést a helyi géphez ezzel a kulccsal.

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Most teszteld az SSH beállítást a localhosthoz való csatlakozással 'hduser_' felhasználóként.

ssh localhost

Jegyzet: Ha az alábbi hibát látod az „ssh localhost” parancsra válaszul, akkor lehetséges, hogy az SSH nem érhető el ezen a rendszeren.

Ennek megoldására –

Törölje ki az SSH-t a

sudo apt-get purge openssh-server

Jó gyakorlat a telepítés megkezdése előtt elvégezni a tisztítást.

Telepítse az SSH-t a következő paranccsal

sudo apt-get install openssh-server

3. lépés) Töltse le a Hadoop programot

A következő lépés a Hadoop letöltése a következő címről: Apache Hadoop kiadási oldal.

Válassza a Stabil lehetőséget

Jelöld ki a tar.gz fájlt (ne az src végződésűt).

A letöltés befejezése után keresse meg a tar fájlt tartalmazó könyvtárat.

Enter,

sudo tar xzf hadoop-2.2.0.tar.gz

Most nevezd át a hadoop-2.2.0-t hadoop-ra.

sudo mv hadoop-2.2.0 hadoop

Végül add át a mappát az új fióknak.

sudo chown -R hduser_:hadoop_ hadoop

Cserélje ki a ténylegesen letöltött verziót hadoop-2.2.0 a fenti három parancsban.

2. rész) A Hadoop konfigurálása

1. lépés) Módosítsa a ~/.bashrc fájlt

Adja hozzá a következő sorokat a ~/.bashrc fájl végéhez.

#Set HADOOP_HOME
export HADOOP_HOME=<Installation Directory of Hadoop>
#Set JAVA_HOME
export JAVA_HOME=<Installation Directory of Java>
# Add bin/ directory of Hadoop to PATH
export PATH=$PATH:$HADOOP_HOME/bin

Most forrásként használd ezt a környezeti konfigurációt az alábbi parancs használatával.

. ~/.bashrc

2. lépés) A HDFS-hez kapcsolódó konfigurációk

Állítsd be a JAVA_HOME értéket a $HADOOP_HOME/etc/hadoop/hadoop-env.sh fájlon belül, ahogy az alább látható.

A

A $HADOOP_HOME/etc/hadoop/core-site.xml fájlban két paramétert kell beállítani -

1. „hadoop.tmp.dir” – Annak a könyvtárnak a megadására szolgál, amelyet a Hadoop az adatfájlok tárolására fog használni.

2. „fs.defaultFS” – Ez határozza meg az alapértelmezett fájlrendszert. Ugyanennek a tulajdonságnak a régebbi neve, az „fs.default.name” elavult.

A paraméterek beállításához nyissa meg a core-site.xml fájlt

sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml

Másold be az alábbi sorokat a kettő közé címkék.

<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>Parent directory for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS </name>
<value>hdfs://localhost:54310</value>
<description>The name of the default file system. </description>
</property>

Navigáljon a $HADOOP_HOME/etc/hadoop könyvtárba.

Most hozd létre a core-site.xml fájlban említett könyvtárat.

sudo mkdir -p <Path of Directory used in above setting>

Engedélyek megadása a könyvtárhoz.

sudo chown -R hduser_:Hadoop_ <Path of Directory created in above step>

sudo chmod 750 <Path of Directory created in above step>

3. lépés) MapReduce konfiguráció

Mielőtt elkezdenénk ezeket a konfigurációkat, állítsuk be a HADOOP_HOME elérési utat.

sudo gedit /etc/profile.d/hadoop.sh

És Enter

export HADOOP_HOME=/home/guru99/Downloads/Hadoop

Következő belépés

sudo chmod +x /etc/profile.d/hadoop.sh

Lépj ki a terminálból, és indítsd újra.

Írja be az echo $HADOOP_HOME parancsot az elérési út ellenőrzéséhez.

Most másolja a fájlokat

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

Nyissa meg a mapred-site.xml fájlt

sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml

Adja hozzá az alábbi beállításokat a és címkék.

<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:54311</value>
<description>MapReduce job tracker runs at this host and port.
</description>
</property>

Nyissa meg a $HADOOP_HOME/etc/hadoop/hdfs-site.xml fájlt az alábbiak szerint:

sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Adja hozzá az alábbi beállításokat a és címkék.

<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hduser_/hdfs</value>
</property>

Hozza létre a fenti beállításban megadott könyvtárat.

sudo mkdir -p <Path of Directory used in above setting>

sudo mkdir -p /home/hduser_/hdfs

Ezután adj hozzá tulajdonjogot és engedélyeket.

sudo chown -R hduser_:hadoop_ <Path of Directory created in above step>

sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs

sudo chmod 750 <Path of Directory created in above step>

sudo chmod 750 /home/hduser_/hdfs

4. lépés) Formázd meg a HDFS-t

Mielőtt először elindítanánk a Hadoop-ot, formázzuk meg a HDFS-t az alábbi paranccsal.

$HADOOP_HOME/bin/hdfs namenode -format

5. lépés) Indítsa el a Hadoop egycsomópontos fürtöt

Indítsa el a Hadoop egycsomópontos fürtöt az alábbi paranccsal.

$HADOOP_HOME/sbin/start-dfs.sh

A fenti parancs kimenete az alábbiakban látható.

Ezután indítsd el a YARN démonokat.

$HADOOP_HOME/sbin/start-yarn.sh

A 'jps' eszköz használatával ellenőrizze, hogy az összes Hadoophoz kapcsolódó folyamat fut-e.

Ha a Hadoop sikeresen elindult, a jps kimenetének a NameNode, NodeManager, ResourceManager, SecondaryNameNode és DataNode értékeket kell tartalmaznia.

6. lépés) Állj megping Hadoop

A klaszter leállítása fordított sorrendben történik.

$HADOOP_HOME/sbin/stop-dfs.sh

$HADOOP_HOME/sbin/stop-yarn.sh

A Hadoop futásának ellenőrzése és a gyakori hibák javítása

A jps kimenete megerősíti a folyamatok elindulását, de nem azt, hogy a klaszter használható. Négy további ellenőrzéssel lehet eldönteni ezt a kérdést.

• Nyissa meg a NameNode webes felületét a következő címen: http://localhost:9870 (50070-es port Hadoop 2.x rendszeren), és erősítse meg az összegző jelentéseket egy élő csomópontról.
• Nyissa meg az Erőforrás-kezelő felületét a következő címen: http://localhost:8088 annak megerősítésére, hogy a YARN elfogadta a NodeManager-t.
• futás hdfs dfsadmin -report kapacitás, élő DataNode-ok és alulreplikált blokkok esetében.
• Írj valamit: hdfs dfs -mkdir /test követ hdfs dfs -ls / bizonyítja, hogy a névtér elfogadja a változtatásokat.

A legtöbb első alkalommal előforduló kudarc öt kategóriába sorolható.

GYIK