Cara Install Hadoop dengan Konfigurasi Langkah demi Langkah di Linux Ubuntu
Dalam tutorial ini, kami akan memandu Anda melalui proses langkah demi langkah untuk menginstal Apache Hadoop di kotak Linux (Ubuntu). Ini adalah proses 2 bagian
Ada 2 Prasyarat
- Anda harus memiliki Ubuntu diinstal dan berlari
- Anda harus memiliki Java Terpasang.
Bagian 1) Unduh dan Instal Hadoop
Langkah 1) Tambahkan pengguna sistem Hadoop menggunakan perintah di bawah ini
sudo addgroup hadoop_
sudo adduser --ingroup hadoop_ hduser_
Masukkan kata sandi Anda, nama, dan rincian lainnya.
CATATAN: Ada kemungkinan kesalahan yang disebutkan di bawah dalam proses pengaturan dan instalasi ini.
“hduser tidak ada dalam file sudoers. Kejadian ini akan dilaporkan.”
Kesalahan ini dapat diatasi dengan Login sebagai pengguna root
Jalankan perintah
sudo adduser hduser_ sudo
Re-login as hduser_
Langkah 2) Konfigurasikan SSH
Untuk mengelola node dalam cluster, Hadoop memerlukan akses SSH
Pertama, ganti pengguna, masukkan perintah berikut
su - hduser_
Perintah ini akan membuat kunci baru.
ssh-keygen -t rsa -P ""
Aktifkan akses SSH ke mesin lokal menggunakan kunci ini.
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
Sekarang uji pengaturan SSH dengan menghubungkan ke localhost sebagai pengguna 'hduser'.
ssh localhost
Catatan: Harap dicatat, jika Anda melihat kesalahan di bawah ini sebagai respons terhadap 'ssh localhost', maka ada kemungkinan SSH tidak tersedia di sistem ini-
Untuk mengatasi ini –
Bersihkan SSH menggunakan,
sudo apt-get purge openssh-server
Merupakan praktik yang baik untuk membersihkan sebelum memulai instalasi
Instal SSH menggunakan perintah-
sudo apt-get install openssh-server
Langkah 3) Langkah selanjutnya adalah Unduh Hadoop
Pilih Stabil
Pilih file tar.gz (bukan file dengan src)
Setelah pengunduhan selesai, navigasikan ke direktori yang berisi file tar
Masukkan,
sudo tar xzf hadoop-2.2.0.tar.gz
Sekarang, ganti nama hadoop-2.2.0 menjadi hadoop
sudo mv hadoop-2.2.0 hadoop
sudo chown -R hduser_:hadoop_ hadoop
Bagian 2) Konfigurasikan Hadoop
Langkah 1) memodifikasi ~ / .bashrc fillet
Tambahkan baris berikut ke akhir file ~ / .bashrc
#Set HADOOP_HOME export HADOOP_HOME=<Installation Directory of Hadoop> #Set JAVA_HOME export JAVA_HOME=<Installation Directory of Java> # Add bin/ directory of Hadoop to PATH export PATH=$PATH:$HADOOP_HOME/bin
Sekarang, sumber konfigurasi lingkungan ini menggunakan perintah di bawah ini
. ~/.bashrc
Langkah 2) Konfigurasi yang terkait dengan HDFS
set JAVA_HOME berkas di dalam $HADOOP_HOME/etc/hadoop/hadoop-env.sh
Dengan
Ada dua parameter di dalamnya $HADOOP_HOME/etc/hadoop/core-site.xml yang perlu diatur-
1. 'hadoop.tmp.dir' – Digunakan untuk menentukan direktori yang akan digunakan Hadoop untuk menyimpan file datanya.
2. 'fs.default.nama' – Ini menentukan sistem file default.
Untuk mengatur parameter ini, buka core-site.xml
sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml
Salin baris di bawah di antara tag
<property> <name>hadoop.tmp.dir</name> <value>/app/hadoop/tmp</value> <description>Parent directory for other temporary directories.</description> </property> <property> <name>fs.defaultFS </name> <value>hdfs://localhost:54310</value> <description>The name of the default file system. </description> </property>
Arahkan ke direktori $HADOOP_HOME/dll/Hadoop
Sekarang, buat direktori yang disebutkan di core-site.xml
sudo mkdir -p <Path of Directory used in above setting>
Berikan izin ke direktori
sudo chown -R hduser_:Hadoop_ <Path of Directory created in above step>
sudo chmod 750 <Path of Directory created in above step>
Langkah 3) Konfigurasi Pengurangan Peta
Sebelum Anda memulai konfigurasi ini, mari atur jalur HADOOP_HOME
sudo gedit /etc/profile.d/hadoop.sh
Dan Masuk
export HADOOP_HOME=/home/guru99/Downloads/Hadoop
Selanjutnya masuk
sudo chmod +x /etc/profile.d/hadoop.sh
Keluar dari Terminal dan mulai ulang lagi
Ketik gema $HADOOP_HOME. Untuk memverifikasi jalur
Sekarang salin file
sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml
Buka situs-mapred.xml fillet
sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml
Tambahkan baris pengaturan di bawah ini di antara tag Dan
<property> <name>mapreduce.jobtracker.address</name> <value>localhost:54311</value> <description>MapReduce job tracker runs at this host and port. </description> </property>
Open $HADOOP_HOME/etc/hadoop/hdfs-site.xml seperti di bawah ini,
sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml
Tambahkan baris pengaturan di bawah di antara tag Dan
<property> <name>dfs.replication</name> <value>1</value> <description>Default block replication.</description> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hduser_/hdfs</value> </property>
Buat direktori yang ditentukan dalam pengaturan di atas-
sudo mkdir -p <Path of Directory used in above setting>
sudo mkdir -p /home/hduser_/hdfs
sudo chown -R hduser_:hadoop_ <Path of Directory created in above step>
sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs
sudo chmod 750 <Path of Directory created in above step>
sudo chmod 750 /home/hduser_/hdfs
Langkah 4) Sebelum kita memulai Hadoop untuk pertama kalinya, format HDFS menggunakan perintah di bawah ini
$HADOOP_HOME/bin/hdfs namenode -format
Langkah 5) Mulai cluster node tunggal Hadoop menggunakan perintah di bawah ini
$HADOOP_HOME/sbin/start-dfs.sh
Output dari perintah di atas
$HADOOP_HOME/sbin/start-yarn.sh
Menggunakan 'jps' alat/perintah, verifikasi apakah semua proses terkait Hadoop berjalan atau tidak.
Jika Hadoop telah berhasil dimulai maka output jps akan menampilkan NameNode, NodeManager, ResourceManager, SecondaryNameNode, DataNode.
Langkah 6) Menghentikan Hadoop
$HADOOP_HOME/sbin/stop-dfs.sh
$HADOOP_HOME/sbin/stop-yarn.sh