كيفية تثبيت Hadoop مع التكوين خطوة بخطوة على Linux Ubuntu

في هذا البرنامج التعليمي، سنأخذك خلال عملية خطوة بخطوة لتثبيت Apache Hadoop على نظام التشغيل Linux box (أوبونتو). هذه عملية مكونة من جزأين

هناك 2 المتطلبات الأساسية المسبقة

الجزء 1) تنزيل وتثبيت Hadoop

الخطوة 1) أضف مستخدم نظام Hadoop باستخدام الأمر أدناه

sudo addgroup hadoop_

تنزيل وتثبيت هادوب

sudo adduser --ingroup hadoop_ hduser_

تنزيل وتثبيت هادوب

أدخل كلمة المرور والاسم وغيرها منtails.

NOTE: هناك احتمال لحدوث الخطأ المذكور أدناه في عملية الإعداد والتثبيت هذه.

"hduser غير موجود في ملف sudoers. سيتم الإبلاغ عن هذا الحادث."

تنزيل وتثبيت هادوب

يمكن حل هذا الخطأ عن طريق تسجيل الدخول كمستخدم جذري

تنزيل وتثبيت هادوب

تنفيذ الأمر

sudo adduser hduser_ sudo

تنزيل وتثبيت هادوب

Re-login as hduser_

تنزيل وتثبيت هادوب

الخطوة 2) تكوين SSH

من أجل إدارة العقد في المجموعة، يتطلب Hadoop الوصول إلى SSH

أولا، قم بتبديل المستخدم، أدخل المتابعةwing أمر

su - hduser_

تنزيل وتثبيت هادوب

سيقوم هذا الأمر بإنشاء مفتاح جديد.

ssh-keygen -t rsa -P ""

تنزيل وتثبيت هادوب

تمكين وصول SSH إلى الجهاز المحلي باستخدام هذا المفتاح.

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

تنزيل وتثبيت هادوب

اختبر الآن إعداد SSH عن طريق الاتصال بالمضيف المحلي كمستخدم "hduser".

ssh localhost

تنزيل وتثبيت هادوب

ملحوظة: يرجى ملاحظة أنه إذا رأيت الخطأ أدناه استجابةً لـ "ssh localhost"، فمن المحتمل أن يكون SSH غير متاح على هذا النظام-

تنزيل وتثبيت هادوب

لحل هذه –

تطهير SSH باستخدام،

sudo apt-get purge openssh-server

من الممارسات الجيدة التطهير قبل بدء التثبيت

تنزيل وتثبيت هادوب

قم بتثبيت SSH باستخدام الأمر-

sudo apt-get install openssh-server

تنزيل وتثبيت هادوب

الخطوة 3) الخطوة التالية هي تحميل هادوب

تنزيل وتثبيت هادوب

حدد مستقر

تنزيل وتثبيت هادوب

حدد ملف tar.gz (وليس الملف الذي يحتوي على src)

تنزيل وتثبيت هادوب

بمجرد اكتمال التنزيل، انتقل إلى الدليل الذي يحتوي على ملف tar

تنزيل وتثبيت هادوب

أدخل،

sudo tar xzf hadoop-2.2.0.tar.gz

تنزيل وتثبيت هادوب

الآن، أعد تسمية hadoop-2.2.0 إلى hadoop

sudo mv hadoop-2.2.0 hadoop

تنزيل وتثبيت هادوب

sudo chown -R hduser_:hadoop_ hadoop

تنزيل وتثبيت هادوب

الجزء 2) تكوين Hadoop

الخطوة 1) عدل ~ / .bashrc ملف

أضف متابعةwing الأسطر حتى نهاية الملف ~ / .bashrc

#Set HADOOP_HOME
export HADOOP_HOME=<Installation Directory of Hadoop>
#Set JAVA_HOME
export JAVA_HOME=<Installation Directory of Java>
# Add bin/ directory of Hadoop to PATH
export PATH=$PATH:$HADOOP_HOME/bin

تكوين هادوب

الآن، قم بمصدر تكوين البيئة هذا باستخدام الأمر أدناه

. ~/.bashrc

تكوين هادوب

الخطوة 2) التكوينات المتعلقة بـ HDFS

المجموعات إتش تي إم إل داخل الملف $HADOOP_HOME/etc/hadoop/hadoop-env.sh

تكوين هادوب

تكوين هادوب

بدافع

تكوين هادوب

هناك نوعان من المعلمات في $HADOOP_HOME/etc/hadoop/core-site.xml والتي يجب ضبطها-

1. "hadoop.tmp.dir" - يُستخدم لتحديد الدليل الذي سيستخدمه Hadoop لتخزين ملفات البيانات الخاصة به.

2. "fs.default.name" - يحدد هذا نظام الملفات الافتراضي.

لتعيين هذه المعلمات، افتح core-site.xml

sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml

تكوين هادوب

انسخ السطر أدناه بين العلامات

<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>Parent directory for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS </name>
<value>hdfs://localhost:54310</value>
<description>The name of the default file system. </description>
</property>

تكوين هادوب

انتقل إلى الدليل $HADOOP_HOME/etc/Hadoop

تكوين هادوب

الآن، قم بإنشاء الدليل المذكور في core-site.xml

sudo mkdir -p <Path of Directory used in above setting>

تكوين هادوب

منح الأذونات إلى الدليل

sudo chown -R hduser_:Hadoop_ <Path of Directory created in above step>

تكوين هادوب

sudo chmod 750 <Path of Directory created in above step>

تكوين هادوب

الخطوة 3) خريطة تقليل التكوين

قبل أن تبدأ بهذه التكوينات، فلنقم بتعيين مسار HADOOP_HOME

sudo gedit /etc/profile.d/hadoop.sh

وأدخل

export HADOOP_HOME=/home/guru99/Downloads/Hadoop

تكوين هادوب

بعد ذلك أدخل

sudo chmod +x /etc/profile.d/hadoop.sh

تكوين هادوب

اخرج من المحطة وأعد التشغيل مرة أخرى

اكتب صدى $HADOOP_HOME. للتحقق من المسار

تكوين هادوب

الآن قم بنسخ الملفات

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

تكوين هادوب

فتح mapred- site.xml ملف

sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml

تكوين هادوب

أضف أسطر الإعداد أدناه بين العلامات و

<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:54311</value>
<description>MapReduce job tracker runs at this host and port.
</description>
</property>

تكوين هادوب

ساعات العمل $HADOOP_HOME/etc/hadoop/hdfs-site.xml على النحو التالي ،

sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml

تكوين هادوب

أضف خطوط الإعداد أدناه بين العلامات و

<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hduser_/hdfs</value>
</property>

تكوين هادوب

قم بإنشاء دليل محدد في الإعداد أعلاه-

sudo mkdir -p <Path of Directory used in above setting>
sudo mkdir -p /home/hduser_/hdfs

تكوين هادوب

sudo chown -R hduser_:hadoop_ <Path of Directory created in above step>
sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs

تكوين هادوب

sudo chmod 750 <Path of Directory created in above step>
sudo chmod 750 /home/hduser_/hdfs

تكوين هادوب

الخطوة 4) قبل أن نبدأ Hadoop للمرة الأولى، قم بتنسيق HDFS باستخدام الأمر أدناه

$HADOOP_HOME/bin/hdfs namenode -format

تكوين هادوب

الخطوة 5) ابدأ مجموعة العقدة الفردية Hadoop باستخدام الأمر أدناه

$HADOOP_HOME/sbin/start-dfs.sh

إخراج الأمر أعلاه

تكوين هادوب

$HADOOP_HOME/sbin/start-yarn.sh

تكوين هادوب

باستخدام "جبس" الأداة/الأمر، تحقق مما إذا كانت جميع العمليات ذات الصلة بـ Hadoop قيد التشغيل أم لا.

تكوين هادوب

إذا بدأ Hadoop بنجاح، فيجب أن يُظهر مخرج jps NameNode وNodeManager وResourceManager وSecondaryNameNode وDataNode.

الخطوة 6) وقف هادوب

$HADOOP_HOME/sbin/stop-dfs.sh

تكوين هادوب

$HADOOP_HOME/sbin/stop-yarn.sh

تكوين هادوب