Linux'ta Adım Adım Yapılandırma ile Hadoop Nasıl Kurulur Ubuntu
Prafulla Ranadive
Bu eğitimde, size Linux kutusuna Apache Hadoop'u adım adım kurma sürecini göstereceğiz (Ubuntu). Bu 2 bölümlü bir süreçtir
2 var Önkoşullar
- Bunun olması gerekir Ubuntu yüklü ve koşuyor
- Bunun olması gerekir Java Yüklü.
Bölüm 1) Hadoop'u indirin ve yükleyin
) 1 Adım Aşağıdaki komutu kullanarak bir Hadoop sistemi kullanıcısı ekleyin
sudo addgroup hadoop_
sudo adduser --ingroup hadoop_ hduser_
Şifrenizi, adınızı ve diğer bilgilerinizi girin.
NOT: Bu kurulum ve kurulum işleminde aşağıda belirtilen hatanın oluşma ihtimali vardır.
“hduser sudoers dosyasında değil. Bu olay rapor edilecektir."
Bu hata kök kullanıcı olarak oturum açarak çözülebilir
Komutu yürütün
sudo adduser hduser_ sudo
Re-login as hduser_
) 2 Adım SSH'yi yapılandırın
Bir kümedeki düğümleri yönetmek için Hadoop'un SSH erişimine ihtiyacı vardır
İlk önce kullanıcıyı değiştirin, aşağıdaki komutu girin
su - hduser_
Bu komut yeni bir anahtar oluşturacaktır.
ssh-keygen -t rsa -P ""
Bu anahtarı kullanarak yerel makineye SSH erişimini etkinleştirin.
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
Şimdi localhost'a 'hduser' kullanıcısı olarak bağlanarak SSH kurulumunu test edin.
ssh localhost
Not: 'Ssh localhost'a yanıt olarak aşağıdaki hatayı görürseniz, SSH'nin bu sistemde mevcut olmama ihtimalinin bulunduğunu lütfen unutmayın.
Bunu çözmek için –
SSH'yi kullanarak temizleyin,
sudo apt-get purge openssh-server
Kuruluma başlamadan önce temizlemek iyi bir uygulamadır
Komutu kullanarak SSH'yi yükleyin.
sudo apt-get install openssh-server
) 3 Adım Bir sonraki adım Hadoop'u indirin
Kararlı'yı seçin
tar.gz dosyasını seçin (src içeren dosyayı değil)
İndirme işlemi tamamlandıktan sonra tar dosyasını içeren dizine gidin
girin
sudo tar xzf hadoop-2.2.0.tar.gz
Şimdi hadoop-2.2.0'ı hadoop olarak yeniden adlandırın
sudo mv hadoop-2.2.0 hadoop
sudo chown -R hduser_:hadoop_ hadoop
Bölüm 2) Hadoop'u Yapılandırma
) 1 Adım değiştirmek ~ / .bashrc dosya
Dosyanın sonuna aşağıdaki satırları ekleyin ~ / .bashrc
#Set HADOOP_HOME export HADOOP_HOME=<Installation Directory of Hadoop> #Set JAVA_HOME export JAVA_HOME=<Installation Directory of Java> # Add bin/ directory of Hadoop to PATH export PATH=$PATH:$HADOOP_HOME/bin
Şimdi aşağıdaki komutu kullanarak bu ortam yapılandırmasını kaynaklayın
. ~/.bashrc
) 2 Adım HDFS ile ilgili konfigürasyonlar
set JAVA_HOME iç dosya $HADOOP_HOME/etc/hadoop/hadoop-env.sh
İle
İçinde iki parametre var $HADOOP_HOME/etc/hadoop/core-site.xml ayarlanması gerekenler-
1. 'hadoop.tmp.dir' – Hadoop'un veri dosyalarını depolamak için kullanacağı dizini belirtmek için kullanılır.
2. 'fs.default.name' – Bu, varsayılan dosya sistemini belirtir.
Bu parametreleri ayarlamak için core-site.xml dosyasını açın
sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml
Etiketlerin arasına aşağıdaki satırı kopyala
<property> <name>hadoop.tmp.dir</name> <value>/app/hadoop/tmp</value> <description>Parent directory for other temporary directories.</description> </property> <property> <name>fs.defaultFS </name> <value>hdfs://localhost:54310</value> <description>The name of the default file system. </description> </property>
Dizine git $HADOOP_HOME/etc/Hadoop
Şimdi core-site.xml dosyasında belirtilen dizini oluşturun.
sudo mkdir -p <Path of Directory used in above setting>
Dizine izin verme
sudo chown -R hduser_:Hadoop_ <Path of Directory created in above step>
sudo chmod 750 <Path of Directory created in above step>
) 3 Adım Harita Azaltma Yapılandırması
Bu yapılandırmalara başlamadan önce HADOOP_HOME yolunu ayarlayalım
sudo gedit /etc/profile.d/hadoop.sh
Ve Girin
export HADOOP_HOME=/home/guru99/Downloads/Hadoop
Sonraki giriş
sudo chmod +x /etc/profile.d/hadoop.sh
Terminalden çıkın ve yeniden başlatın
echo $HADOOP_HOME yazın. Yolu doğrulamak için
Şimdi dosyaları kopyala
sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml
Açın haritalanmış-site.xml dosya
sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml
Etiketlerin arasına aşağıdaki ayar satırlarını ekleyin Ve
<property> <name>mapreduce.jobtracker.address</name> <value>localhost:54311</value> <description>MapReduce job tracker runs at this host and port. </description> </property>
Açılış $HADOOP_HOME/etc/hadoop/hdfs-site.xml aşağıda olduğu gibi,
sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml
Etiketler arasına aşağıdaki ayar satırlarını ekleyin Ve
<property> <name>dfs.replication</name> <value>1</value> <description>Default block replication.</description> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hduser_/hdfs</value> </property>
Yukarıdaki ayarlarda belirtilen bir dizin oluşturun-
sudo mkdir -p <Path of Directory used in above setting>
sudo mkdir -p /home/hduser_/hdfs
sudo chown -R hduser_:hadoop_ <Path of Directory created in above step>
sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs
sudo chmod 750 <Path of Directory created in above step>
sudo chmod 750 /home/hduser_/hdfs
) 4 Adım Hadoop'u ilk kez başlatmadan önce aşağıdaki komutu kullanarak HDFS'yi biçimlendirin
$HADOOP_HOME/bin/hdfs namenode -format
) 5 Adım Aşağıdaki komutu kullanarak Hadoop tek düğüm kümesini başlatın
$HADOOP_HOME/sbin/start-dfs.sh
Yukarıdaki komutun çıktısı
$HADOOP_HOME/sbin/start-yarn.sh
kullanma 'jps' araç/komut, Hadoop ile ilgili tüm işlemlerin çalışıp çalışmadığını doğrulayın.
Hadoop başarıyla başlatıldıysa jps çıktısında NameNode, NodeManager, ResourceManager, SecondaryNameNode, DataNode gösterilmelidir.
) 6 Adım Hadoop'u Durdurmak
$HADOOP_HOME/sbin/stop-dfs.sh
$HADOOP_HOME/sbin/stop-yarn.sh
