Cara Install Hadoop dengan Konfigurasi Langkah demi Langkah di Linux Ubuntu

Dalam tutorial ini, kami akan memandu Anda melalui proses langkah demi langkah untuk menginstal Apache Hadoop di kotak Linux (Ubuntu). Ini adalah proses 2 bagian

Ada 2 Prasyarat

Bagian 1) Unduh dan Instal Hadoop

Langkah 1) Tambahkan pengguna sistem Hadoop menggunakan perintah di bawah ini

sudo addgroup hadoop_

Unduh dan Instal Hadoop

sudo adduser --ingroup hadoop_ hduser_

Unduh dan Instal Hadoop

Masukkan kata sandi Anda, nama, dan rincian lainnya.

CATATAN: Ada kemungkinan kesalahan yang disebutkan di bawah dalam proses pengaturan dan instalasi ini.

“hduser tidak ada dalam file sudoers. Kejadian ini akan dilaporkan.”

Unduh dan Instal Hadoop

Kesalahan ini dapat diatasi dengan Login sebagai pengguna root

Unduh dan Instal Hadoop

Jalankan perintah

sudo adduser hduser_ sudo

Unduh dan Instal Hadoop

Re-login as hduser_

Unduh dan Instal Hadoop

Langkah 2) Konfigurasikan SSH

Untuk mengelola node dalam cluster, Hadoop memerlukan akses SSH

Pertama, ganti pengguna, masukkan perintah berikut

su - hduser_

Unduh dan Instal Hadoop

Perintah ini akan membuat kunci baru.

ssh-keygen -t rsa -P ""

Unduh dan Instal Hadoop

Aktifkan akses SSH ke mesin lokal menggunakan kunci ini.

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Unduh dan Instal Hadoop

Sekarang uji pengaturan SSH dengan menghubungkan ke localhost sebagai pengguna 'hduser'.

ssh localhost

Unduh dan Instal Hadoop

Catatan: Harap dicatat, jika Anda melihat kesalahan di bawah ini sebagai respons terhadap 'ssh localhost', maka ada kemungkinan SSH tidak tersedia di sistem ini-

Unduh dan Instal Hadoop

Untuk mengatasi ini –

Bersihkan SSH menggunakan,

sudo apt-get purge openssh-server

Merupakan praktik yang baik untuk membersihkan sebelum memulai instalasi

Unduh dan Instal Hadoop

Instal SSH menggunakan perintah-

sudo apt-get install openssh-server

Unduh dan Instal Hadoop

Langkah 3) Langkah selanjutnya adalah Unduh Hadoop

Unduh dan Instal Hadoop

Pilih Stabil

Unduh dan Instal Hadoop

Pilih file tar.gz (bukan file dengan src)

Unduh dan Instal Hadoop

Setelah pengunduhan selesai, navigasikan ke direktori yang berisi file tar

Unduh dan Instal Hadoop

Masukkan,

sudo tar xzf hadoop-2.2.0.tar.gz

Unduh dan Instal Hadoop

Sekarang, ganti nama hadoop-2.2.0 menjadi hadoop

sudo mv hadoop-2.2.0 hadoop

Unduh dan Instal Hadoop

sudo chown -R hduser_:hadoop_ hadoop

Unduh dan Instal Hadoop

Bagian 2) Konfigurasikan Hadoop

Langkah 1) memodifikasi ~ / .bashrc fillet

Tambahkan baris berikut ke akhir file ~ / .bashrc

#Set HADOOP_HOME
export HADOOP_HOME=<Installation Directory of Hadoop>
#Set JAVA_HOME
export JAVA_HOME=<Installation Directory of Java>
# Add bin/ directory of Hadoop to PATH
export PATH=$PATH:$HADOOP_HOME/bin

Konfigurasikan Hadoop

Sekarang, sumber konfigurasi lingkungan ini menggunakan perintah di bawah ini

. ~/.bashrc

Konfigurasikan Hadoop

Langkah 2) Konfigurasi yang terkait dengan HDFS

set JAVA_HOME berkas di dalam $HADOOP_HOME/etc/hadoop/hadoop-env.sh

Konfigurasikan Hadoop

Konfigurasikan Hadoop

Dengan

Konfigurasikan Hadoop

Ada dua parameter di dalamnya $HADOOP_HOME/etc/hadoop/core-site.xml yang perlu diatur-

1. 'hadoop.tmp.dir' – Digunakan untuk menentukan direktori yang akan digunakan Hadoop untuk menyimpan file datanya.

2. 'fs.default.nama' – Ini menentukan sistem file default.

Untuk mengatur parameter ini, buka core-site.xml

sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml

Konfigurasikan Hadoop

Salin baris di bawah di antara tag

<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>Parent directory for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS </name>
<value>hdfs://localhost:54310</value>
<description>The name of the default file system. </description>
</property>

Konfigurasikan Hadoop

Arahkan ke direktori $HADOOP_HOME/dll/Hadoop

Konfigurasikan Hadoop

Sekarang, buat direktori yang disebutkan di core-site.xml

sudo mkdir -p <Path of Directory used in above setting>

Konfigurasikan Hadoop

Berikan izin ke direktori

sudo chown -R hduser_:Hadoop_ <Path of Directory created in above step>

Konfigurasikan Hadoop

sudo chmod 750 <Path of Directory created in above step>

Konfigurasikan Hadoop

Langkah 3) Konfigurasi Pengurangan Peta

Sebelum Anda memulai konfigurasi ini, mari atur jalur HADOOP_HOME

sudo gedit /etc/profile.d/hadoop.sh

Dan Masuk

export HADOOP_HOME=/home/guru99/Downloads/Hadoop

Konfigurasikan Hadoop

Selanjutnya masuk

sudo chmod +x /etc/profile.d/hadoop.sh

Konfigurasikan Hadoop

Keluar dari Terminal dan mulai ulang lagi

Ketik gema $HADOOP_HOME. Untuk memverifikasi jalur

Konfigurasikan Hadoop

Sekarang salin file

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

Konfigurasikan Hadoop

Buka situs-mapred.xml fillet

sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml

Konfigurasikan Hadoop

Tambahkan baris pengaturan di bawah ini di antara tag Dan

<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:54311</value>
<description>MapReduce job tracker runs at this host and port.
</description>
</property>

Konfigurasikan Hadoop

Open $HADOOP_HOME/etc/hadoop/hdfs-site.xml seperti di bawah ini,

sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Konfigurasikan Hadoop

Tambahkan baris pengaturan di bawah di antara tag Dan

<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hduser_/hdfs</value>
</property>

Konfigurasikan Hadoop

Buat direktori yang ditentukan dalam pengaturan di atas-

sudo mkdir -p <Path of Directory used in above setting>
sudo mkdir -p /home/hduser_/hdfs

Konfigurasikan Hadoop

sudo chown -R hduser_:hadoop_ <Path of Directory created in above step>
sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs

Konfigurasikan Hadoop

sudo chmod 750 <Path of Directory created in above step>
sudo chmod 750 /home/hduser_/hdfs

Konfigurasikan Hadoop

Langkah 4) Sebelum kita memulai Hadoop untuk pertama kalinya, format HDFS menggunakan perintah di bawah ini

$HADOOP_HOME/bin/hdfs namenode -format

Konfigurasikan Hadoop

Langkah 5) Mulai cluster node tunggal Hadoop menggunakan perintah di bawah ini

$HADOOP_HOME/sbin/start-dfs.sh

Output dari perintah di atas

Konfigurasikan Hadoop

$HADOOP_HOME/sbin/start-yarn.sh

Konfigurasikan Hadoop

Menggunakan 'jps' alat/perintah, verifikasi apakah semua proses terkait Hadoop berjalan atau tidak.

Konfigurasikan Hadoop

Jika Hadoop telah berhasil dimulai maka output jps akan menampilkan NameNode, NodeManager, ResourceManager, SecondaryNameNode, DataNode.

Langkah 6) Menghentikan Hadoop

$HADOOP_HOME/sbin/stop-dfs.sh

Konfigurasikan Hadoop

$HADOOP_HOME/sbin/stop-yarn.sh

Konfigurasikan Hadoop