Kako instalirati Hadoop s konfiguracijom korak po korak na Linux Ubuntu

U ovom vodiču provest ćemo vas kroz korak po korak proces instaliranja Apache Hadoop na Linux sustav (Ubuntu). Ovo je proces od 2 dijela

Dio 1) Preuzmite i instalirajte Hadoop
Dio 2) Konfigurirajte Hadoop

Postoje 2 Preduvjeti

Morate imati Ubuntu instaliran i trčanje
Morate imati Java Instalirano.

Dio 1) Preuzmite i instalirajte Hadoop

Korak 1) Dodajte korisnika Hadoop sustava koristeći donju naredbu

sudo addgroup hadoop_

sudo adduser --ingroup hadoop_ hduser_

Unesite svoju lozinku, ime i ostale podatke.

NAPOMENA: Postoji mogućnost dolje navedene pogreške u ovom postupku postavljanja i instalacije.

“hduser nije u datoteci sudoers. Ovaj incident će biti prijavljen.”

Ova se pogreška može riješiti prijavom kao root korisnik

Izvršite naredbu

sudo adduser hduser_ sudo

Re-login as hduser_

Korak 2) Konfigurirajte SSH

Za upravljanje čvorovima u klasteru, Hadoop zahtijeva SSH pristup

Prvo promijenite korisnika, unesite sljedeću naredbu

su - hduser_

Ova naredba će stvoriti novi ključ.

ssh-keygen -t rsa -P ""

Omogućite SSH pristup lokalnom računalu koristeći ovaj ključ.

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Sada testirajte postavke SSH spajanjem na localhost kao 'hduser' korisnik.

ssh localhost

Bilješka: Napominjemo, ako vidite donju pogrešku kao odgovor na 'ssh localhost', tada postoji mogućnost da SSH nije dostupan na ovom sustavu-

Da biste to riješili –

Očisti SSH pomoću,

sudo apt-get purge openssh-server

Prije početka instalacije dobro je očistiti

Instalirajte SSH pomoću naredbe-

sudo apt-get install openssh-server

Korak 3) Sljedeći korak je da Preuzmite Hadoop

Odaberite Stabilno

Odaberite datoteku tar.gz (ne datoteku sa src)

Kada je preuzimanje završeno, idite do direktorija koji sadrži tar datoteku

Ulaz,

sudo tar xzf hadoop-2.2.0.tar.gz

Sada preimenujte hadoop-2.2.0 u hadoop

sudo mv hadoop-2.2.0 hadoop

sudo chown -R hduser_:hadoop_ hadoop

Dio 2) Konfigurirajte Hadoop

Korak 1) izmijeniti ~ / .bashrc file

Dodajte sljedeće retke na kraj datoteke ~ / .bashrc

#Set HADOOP_HOME
export HADOOP_HOME=<Installation Directory of Hadoop>
#Set JAVA_HOME
export JAVA_HOME=<Installation Directory of Java>
# Add bin/ directory of Hadoop to PATH
export PATH=$PATH:$HADOOP_HOME/bin

Sada, izvor ove konfiguracije okruženja pomoću donje naredbe

. ~/.bashrc

Korak 2) Konfiguracije vezane uz HDFS

Postaviti JAVA_HOME unutar datoteke $HADOOP_HOME/etc/hadoop/hadoop-env.sh

Kontakt

Postoje dva parametra $HADOOP_HOME/etc/hadoop/core-site.xml koje treba postaviti-

1. 'hadoop.tmp.dir' – Koristi se za određivanje direktorija koji će Hadoop koristiti za pohranu svojih podatkovnih datoteka.

2. 'fs.default.name' – Ovo specificira zadani datotečni sustav.

Za postavljanje ovih parametara otvorite core-site.xml

sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml

Kopiraj ispod retka između oznaka

<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>Parent directory for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS </name>
<value>hdfs://localhost:54310</value>
<description>The name of the default file system. </description>
</property>

Dođite do imenika $HADOOP_HOME/etc/Hadoop

Sada stvorite direktorij naveden u core-site.xml

sudo mkdir -p <Path of Directory used in above setting>

Dodijelite dopuštenja imeniku

sudo chown -R hduser_:Hadoop_ <Path of Directory created in above step>

sudo chmod 750 <Path of Directory created in above step>

Korak 3) Map Reduce Configuration

Prije nego što počnete s ovim konfiguracijama, postavimo stazu HADOOP_HOME

sudo gedit /etc/profile.d/hadoop.sh

I Enter

export HADOOP_HOME=/home/guru99/Downloads/Hadoop

Zatim unesite

sudo chmod +x /etc/profile.d/hadoop.sh

Izađite iz terminala i ponovno ga pokrenite

Upišite echo $HADOOP_HOME. Za provjeru putanje

Sada kopirajte datoteke

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

Otvorite mapred-site.xml file

sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml

Dodajte donje retke postavki između oznaka i

<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:54311</value>
<description>MapReduce job tracker runs at this host and port.
</description>
</property>

Otvoren $HADOOP_HOME/etc/hadoop/hdfs-site.xml kao ispod,

sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Dodajte donje retke postavki između oznaka i

<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hduser_/hdfs</value>
</property>

Stvorite direktorij naveden u gornjoj postavci-

sudo mkdir -p <Path of Directory used in above setting>

sudo mkdir -p /home/hduser_/hdfs

sudo chown -R hduser_:hadoop_ <Path of Directory created in above step>

sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs

sudo chmod 750 <Path of Directory created in above step>

sudo chmod 750 /home/hduser_/hdfs

Korak 4) Prije nego što prvi put pokrenemo Hadoop, formatirajte HDFS koristeći donju naredbu

$HADOOP_HOME/bin/hdfs namenode -format

Korak 5) Pokrenite Hadoop klaster s jednim čvorom koristeći donju naredbu

$HADOOP_HOME/sbin/start-dfs.sh

Izlaz gornje naredbe

$HADOOP_HOME/sbin/start-yarn.sh

Korištenje 'jps' alat/naredba, provjerite rade li svi procesi povezani s Hadoopom ili ne.

Ako je Hadoop uspješno pokrenut, tada bi izlaz jps-a trebao prikazivati NameNode, NodeManager, ResourceManager, SecondaryNameNode, DataNode.

Korak 6) Zaustavljanje Hadoopa

$HADOOP_HOME/sbin/stop-dfs.sh

$HADOOP_HOME/sbin/stop-yarn.sh

Možda ti se svidi:

Dio 1) Preuzmite i instalirajte Hadoop

POVEZANI ČLANCI

Dio 2) Konfigurirajte Hadoop