A Hadoop telepítése lépésről lépésre történő konfigurációval Linuxon Ubuntu
Prafulla Ranadive
Ebben az oktatóanyagban lépésről lépésre végigvezetjük az Apache Hadoop Linux-dobozra való telepítésének folyamatán (Ubuntu). Ez 2 részes folyamat
Vannak 2 Előfeltételek
- Biztos van Ubuntu telepítve és futás
- Biztos van Java Telepítve.
1. rész) Töltse le és telepítse a Hadoop programot
Step 1) Adjon hozzá egy Hadoop rendszerfelhasználót az alábbi paranccsal
sudo addgroup hadoop_
sudo adduser --ingroup hadoop_ hduser_
Adja meg jelszavát, nevét és egyéb adatait.
JEGYZET: Ebben a beállítási és telepítési folyamatban előfordulhat az alább említett hiba.
"hduser nincs a sudoers fájlban. Erről az esetről beszámolunk.”
Ezt a hibát root felhasználóként való bejelentkezéssel lehet megoldani
Végezzük el a parancsot
sudo adduser hduser_ sudo
Re-login as hduser_
Step 2) SSH konfigurálása
A fürt csomópontjainak kezeléséhez a Hadoop SSH-hozzáférést igényel
Először váltson felhasználót, írja be a következő parancsot
su - hduser_
Ez a parancs új kulcsot hoz létre.
ssh-keygen -t rsa -P ""
Engedélyezze az SSH-hozzáférést a helyi géphez ezzel a kulccsal.
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
Most tesztelje az SSH beállítását úgy, hogy "hduser" felhasználóként csatlakozik a localhosthoz.
ssh localhost
Jegyzet: Kérjük, vegye figyelembe, hogy ha az alábbi hibaüzenetet látja az 'ssh localhost' válaszában, akkor lehetséges, hogy az SSH nem érhető el ezen a rendszeren.
Ennek megoldására –
Törölje ki az SSH-t a
sudo apt-get purge openssh-server
Jó gyakorlat a telepítés megkezdése előtt átöblíteni
Telepítse az SSH-t a következő paranccsal
sudo apt-get install openssh-server
Step 3) A következő lépés az Töltse le a Hadoop-ot
Válassza a Stabil lehetőséget
Válassza ki a tar.gz fájlt (ne az src-t tartalmazó fájlt)
A letöltés befejezése után keresse meg a tar fájlt tartalmazó könyvtárat
Enter,
sudo tar xzf hadoop-2.2.0.tar.gz
Most nevezze át a hadoop-2.2.0-t hadoop névre
sudo mv hadoop-2.2.0 hadoop
sudo chown -R hduser_:hadoop_ hadoop
2. rész) A Hadoop konfigurálása
Step 1) módosít ~ / .bashrc filé
Adja hozzá a következő sorokat a fájl végéhez ~ / .bashrc
#Set HADOOP_HOME export HADOOP_HOME=<Installation Directory of Hadoop> #Set JAVA_HOME export JAVA_HOME=<Installation Directory of Java> # Add bin/ directory of Hadoop to PATH export PATH=$PATH:$HADOOP_HOME/bin
Most szerezze be ezt a környezetkonfigurációt az alábbi paranccsal
. ~/.bashrc
Step 2) A HDFS-hez kapcsolódó konfigurációk
Készlet JAVA_HOME belső fájl $HADOOP_HOME/etc/hadoop/hadoop-env.sh
A
Két paraméter van benne $HADOOP_HOME/etc/hadoop/core-site.xml amelyeket be kell állítani -
1. „hadoop.tmp.dir” – Egy könyvtár megadására szolgál, amelyet a Hadoop az adatfájlok tárolására fog használni.
2. „fs.default.name” – Ez határozza meg az alapértelmezett fájlrendszert.
A paraméterek beállításához nyissa meg a core-site.xml fájlt
sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml
Másolja a címkék közé az alábbi sor alá
<property> <name>hadoop.tmp.dir</name> <value>/app/hadoop/tmp</value> <description>Parent directory for other temporary directories.</description> </property> <property> <name>fs.defaultFS </name> <value>hdfs://localhost:54310</value> <description>The name of the default file system. </description> </property>
Navigáljon a könyvtárhoz $HADOOP_HOME/etc/Hadoop
Most hozza létre a core-site.xml fájlban említett könyvtárat
sudo mkdir -p <Path of Directory used in above setting>
Engedélyek megadása a könyvtárnak
sudo chown -R hduser_:Hadoop_ <Path of Directory created in above step>
sudo chmod 750 <Path of Directory created in above step>
Step 3) Térkép Konfiguráció csökkentése
Mielőtt elkezdené ezeket a konfigurációkat, állítsa be a HADOOP_HOME elérési utat
sudo gedit /etc/profile.d/hadoop.sh
És Enter
export HADOOP_HOME=/home/guru99/Downloads/Hadoop
Következő belépés
sudo chmod +x /etc/profile.d/hadoop.sh
Lépjen ki a terminálból, és indítsa újra
Írja be: echo $HADOOP_HOME. Az útvonal ellenőrzéséhez
Most másolja a fájlokat
sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml
Nyissa meg a mapred-site.xml filé
sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml
Adja hozzá a beállítási sorokat a címkék közé és
<property> <name>mapreduce.jobtracker.address</name> <value>localhost:54311</value> <description>MapReduce job tracker runs at this host and port. </description> </property>
Nyisd ki $HADOOP_HOME/etc/hadoop/hdfs-site.xml az alábbi,
sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml
Adja hozzá a beállítási sorokat a címkék közé és
<property> <name>dfs.replication</name> <value>1</value> <description>Default block replication.</description> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hduser_/hdfs</value> </property>
Hozzon létre egy könyvtárat a fenti beállításban -
sudo mkdir -p <Path of Directory used in above setting>
sudo mkdir -p /home/hduser_/hdfs
sudo chown -R hduser_:hadoop_ <Path of Directory created in above step>
sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs
sudo chmod 750 <Path of Directory created in above step>
sudo chmod 750 /home/hduser_/hdfs
Step 4) A Hadoop első elindítása előtt formázza meg a HDFS-t az alábbi paranccsal
$HADOOP_HOME/bin/hdfs namenode -format
Step 5) Indítsa el a Hadoop egycsomópont-fürtöt az alábbi paranccsal
$HADOOP_HOME/sbin/start-dfs.sh
A fenti parancs kimenete
$HADOOP_HOME/sbin/start-yarn.sh
<p></p> "jps" eszközt/parancsot, ellenőrizze, hogy az összes Hadoop-hoz kapcsolódó folyamat fut-e vagy sem.
Ha a Hadoop sikeresen elindult, akkor a jps kimenetén a NameNode, NodeManager, ResourceManager, SecondaryNameNode, DataNode jelenik meg.
Step 6) A Hadoop leállítása
$HADOOP_HOME/sbin/stop-dfs.sh
$HADOOP_HOME/sbin/stop-yarn.sh
