Kuinka asentaa Hadoop vaiheittaisella konfiguraatiolla Linuxiin Ubuntu

Tässä opetusohjelmassa opastamme sinut vaihe vaiheelta, kuinka voit asentaa Apache Hadoopin Linux-laatikkoon (Ubuntu). Tämä on 2-osainen prosessi

• Osa 1) Lataa ja asenna Hadoop
• Osa 2) Määritä Hadoop

On 2 Edellytykset

• Sinun täytyy olla Ubuntu asennetaan ja juokseminen
• Sinun täytyy olla Java Asennettu.

Osa 1) Lataa ja asenna Hadoop

Vaihe 1) Lisää Hadoop-järjestelmän käyttäjä käyttämällä alla olevaa komentoa

sudo addgroup hadoop_

sudo adduser --ingroup hadoop_ hduser_

Anna salasanasi, nimesi ja muut tiedot.

HUOMAUTUS: Tässä asennus- ja asennusprosessissa saattaa olla alla mainittu virhe.

"hduser ei ole sudoers-tiedostossa. Tästä tapauksesta tiedotetaan."

Tämä virhe voidaan korjata kirjautumalla sisään pääkäyttäjänä

Suorita komento

sudo adduser hduser_ sudo

Re-login as hduser_

Vaihe 2) Määritä SSH

Klusterin solmujen hallitsemiseksi Hadoop vaatii SSH-käyttöoikeuden

Vaihda ensin käyttäjää ja anna seuraava komento

su - hduser_

Tämä komento luo uuden avaimen.

ssh-keygen -t rsa -P ""

Salli SSH-pääsy paikalliseen koneeseen tällä näppäimellä.

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Testaa nyt SSH-asetuksia muodostamalla yhteys localhostiin hduser-käyttäjänä.

ssh localhost

Huomautus: Huomaa, että jos näet alla virheen vastauksena 'ssh localhost', on mahdollista, että SSH ei ole käytettävissä tässä järjestelmässä-

Tämän ratkaisemiseksi -

Tyhjennä SSH käyttämällä

sudo apt-get purge openssh-server

On hyvä käytäntö puhdistaa ennen asennuksen aloittamista

Asenna SSH komennolla-

sudo apt-get install openssh-server

Vaihe 3) Seuraava askel on Lataa Hadoop

Valitse Vakaa

Valitse tar.gz-tiedosto (ei src-tiedostoa)

Kun lataus on valmis, siirry tar-tiedoston sisältävään hakemistoon

Enter,

sudo tar xzf hadoop-2.2.0.tar.gz

Nimeä nyt hadoop-2.2.0 uudelleen nimellä hadoop

sudo mv hadoop-2.2.0 hadoop

sudo chown -R hduser_:hadoop_ hadoop

Osa 2) Määritä Hadoop

Vaihe 1) Muuttaa ~ / .bashrc tiedosto

Lisää seuraavat rivit tiedoston loppuun ~ / .bashrc

#Set HADOOP_HOME
export HADOOP_HOME=<Installation Directory of Hadoop>
#Set JAVA_HOME
export JAVA_HOME=<Installation Directory of Java>
# Add bin/ directory of Hadoop to PATH
export PATH=$PATH:$HADOOP_HOME/bin

Hanki nyt tämä ympäristökokoonpano käyttämällä alla olevaa komentoa

. ~/.bashrc

Vaihe 2) HDFS:ään liittyvät määritykset

Asettaa JAVA_HOME tiedoston sisällä $HADOOP_HOME/etc/hadoop/hadoop-env.sh

Kanssa

Siinä on kaksi parametria $HADOOP_HOME/etc/hadoop/core-site.xml jotka on asetettava -

1. "hadoop.tmp.dir" – Käytetään määrittämään hakemisto, jota Hadoop käyttää datatiedostojensa tallentamiseen.

2. 'fs.default.name' – Tämä määrittää oletustiedostojärjestelmän.

Aseta nämä parametrit avaamalla core-site.xml

sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml

Kopioi alla oleva rivi tunnisteiden väliin

<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>Parent directory for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS </name>
<value>hdfs://localhost:54310</value>
<description>The name of the default file system. </description>
</property>

Siirry hakemistoon $HADOOP_HOME/etc/Hadoop

Luo nyt tiedostossa core-site.xml mainittu hakemisto

sudo mkdir -p <Path of Directory used in above setting>

Myönnä käyttöoikeudet hakemistoon

sudo chown -R hduser_:Hadoop_ <Path of Directory created in above step>

sudo chmod 750 <Path of Directory created in above step>

Vaihe 3) Kartta Vähennä kokoonpanoa

Ennen kuin aloitat näiden asetusten tekemisen, määritetään HADOOP_HOME-polku

sudo gedit /etc/profile.d/hadoop.sh

Ja Enter

export HADOOP_HOME=/home/guru99/Downloads/Hadoop

Seuraavaksi syötä

sudo chmod +x /etc/profile.d/hadoop.sh

Poistu terminaalista ja käynnistä uudelleen

Kirjoita echo $HADOOP_HOME. Polun tarkistamiseksi

Kopioi nyt tiedostot

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

Avaa mapred-site.xml tiedosto

sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml

Lisää alle asetusrivit tunnisteiden väliin ja

<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:54311</value>
<description>MapReduce job tracker runs at this host and port.
</description>
</property>

avoin $HADOOP_HOME/etc/hadoop/hdfs-site.xml kuten alla,

sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Lisää alle asetusrivit tunnisteiden väliin ja

<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hduser_/hdfs</value>
</property>

Luo yllä olevassa asetuksessa määritetty hakemisto -

sudo mkdir -p <Path of Directory used in above setting>

sudo mkdir -p /home/hduser_/hdfs

sudo chown -R hduser_:hadoop_ <Path of Directory created in above step>

sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs

sudo chmod 750 <Path of Directory created in above step>

sudo chmod 750 /home/hduser_/hdfs

Vaihe 4) Ennen kuin käynnistämme Hadoopin ensimmäistä kertaa, alusta HDFS alla olevalla komennolla

$HADOOP_HOME/bin/hdfs namenode -format

Vaihe 5) Käynnistä Hadoop yhden solmun klusteri käyttämällä alla olevaa komentoa

$HADOOP_HOME/sbin/start-dfs.sh

Yllä olevan komennon tulos

$HADOOP_HOME/sbin/start-yarn.sh

Käyttäminen "jps" työkalu/komento, tarkista, ovatko kaikki Hadoopiin liittyvät prosessit käynnissä vai eivät.

Jos Hadoop on käynnistynyt onnistuneesti, jps:n lähdössä pitäisi näkyä NameNode, NodeManager, ResourceManager, SecondaryNameNode, DataNode.

Vaihe 6) stopping Hadoop

$HADOOP_HOME/sbin/stop-dfs.sh

$HADOOP_HOME/sbin/stop-yarn.sh