लिनक्स पर चरण दर चरण कॉन्फ़िगरेशन के साथ Hadoop कैसे स्थापित करें Ubuntu
प्रफुल्ल रणदिवे
इस ट्यूटोरियल में, हम आपको लिनक्स बॉक्स पर अपाचे हैडोप को स्थापित करने की चरण दर चरण प्रक्रिया से अवगत कराएंगे।Ubuntu) यह 2 भाग की प्रक्रिया है
2 कर रहे हैं .. पूर्वापेक्षाएँ
- आपके पास होना चाहिए Ubuntu installed और चल रहा है
- आपके पास होना चाहिए Java स्थापित किया हुआ।
भाग 1) Hadoop डाउनलोड और इंस्टॉल करें
चरण 1) नीचे दिए गए आदेश का उपयोग करके Hadoop सिस्टम उपयोगकर्ता जोड़ें
sudo addgroup hadoop_
sudo adduser --ingroup hadoop_ hduser_
अपना पासवर्ड, नाम और अन्य विवरण दर्ज करें।
नोट: इस सेटअप और स्थापना प्रक्रिया में नीचे उल्लिखित त्रुटि की संभावना है।
"hduser sudoers फ़ाइल में नहीं है। इस घटना की रिपोर्ट की जाएगी।"
इस त्रुटि को रूट उपयोगकर्ता के रूप में लॉगिन करके हल किया जा सकता है
आदेश निष्पादित करें
sudo adduser hduser_ sudo
Re-login as hduser_
चरण 2) SSH कॉन्फ़िगर करें
क्लस्टर में नोड्स को प्रबंधित करने के लिए, Hadoop को SSH एक्सेस की आवश्यकता होती है
सबसे पहले, उपयोगकर्ता स्विच करें, निम्नलिखित कमांड दर्ज करें
su - hduser_
यह आदेश एक नई कुंजी बनाएगा.
ssh-keygen -t rsa -P ""
इस कुंजी का उपयोग करके स्थानीय मशीन तक SSH पहुंच सक्षम करें।
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
अब 'hduser' उपयोगकर्ता के रूप में लोकलहोस्ट से कनेक्ट करके SSH सेटअप का परीक्षण करें।
ssh localhost
नोट: कृपया ध्यान दें, यदि आपको 'ssh localhost' के प्रत्युत्तर में नीचे दी गई त्रुटि दिखाई देती है, तो संभावना है कि इस सिस्टम पर SSH उपलब्ध नहीं है-
इसे हल करने के लिए –
SSH को शुद्ध करें,
sudo apt-get purge openssh-server
स्थापना शुरू होने से पहले शुद्ध करना अच्छा अभ्यास है
कमांड का उपयोग करके SSH स्थापित करें-
sudo apt-get install openssh-server
चरण 3) अगला कदम है Hadoop डाउनलोड करें
स्थिर चुनें
tar.gz फ़ाइल का चयन करें (src वाली फ़ाइल नहीं)
एक बार डाउनलोड पूरा हो जाने पर, tar फ़ाइल वाली निर्देशिका पर जाएँ
दर्ज करें,
sudo tar xzf hadoop-2.2.0.tar.gz
अब, hadoop-2.2.0 का नाम बदलकर hadoop कर दें
sudo mv hadoop-2.2.0 hadoop
sudo chown -R hduser_:hadoop_ hadoop
भाग 2) Hadoop को कॉन्फ़िगर करें
चरण 1) सुधारे ~ / .bashrc पट्टिका
फ़ाइल के अंत में निम्न पंक्तियाँ जोड़ें ~ / .bashrc
#Set HADOOP_HOME export HADOOP_HOME=<Installation Directory of Hadoop> #Set JAVA_HOME export JAVA_HOME=<Installation Directory of Java> # Add bin/ directory of Hadoop to PATH export PATH=$PATH:$HADOOP_HOME/bin
अब, नीचे दिए गए आदेश का उपयोग करके इस पर्यावरण कॉन्फ़िगरेशन को स्रोत करें
. ~/.bashrc
चरण 2) HDFS से संबंधित कॉन्फ़िगरेशन
सेट जावा_होम फ़ाइल के अंदर $HADOOP_HOME/etc/hadoop/hadoop-env.sh
-
इसमें दो पैरामीटर हैं $HADOOP_HOME/etc/hadoop/core-site.xml जिन्हें निर्धारित करने की आवश्यकता है-
1. 'hadoop.tmp.dir' – एक निर्देशिका को निर्दिष्ट करने के लिए उपयोग किया जाता है जिसका उपयोग Hadoop द्वारा अपनी डेटा फ़ाइलों को संग्रहीत करने के लिए किया जाएगा।
2. 'fs.default.name' – यह डिफ़ॉल्ट फ़ाइल सिस्टम निर्दिष्ट करता है.
इन पैरामीटर्स को सेट करने के लिए core-site.xml खोलें
sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml
टैग के बीच नीचे दी गई लाइन को कॉपी करें
<property> <name>hadoop.tmp.dir</name> <value>/app/hadoop/tmp</value> <description>Parent directory for other temporary directories.</description> </property> <property> <name>fs.defaultFS </name> <value>hdfs://localhost:54310</value> <description>The name of the default file system. </description> </property>
निर्देशिका पर नेविगेट करें $HADOOP_HOME/आदि/Hadoop
अब, core-site.xml में उल्लिखित निर्देशिका बनाएं
sudo mkdir -p <Path of Directory used in above setting>
निर्देशिका को अनुमति प्रदान करें
sudo chown -R hduser_:Hadoop_ <Path of Directory created in above step>
sudo chmod 750 <Path of Directory created in above step>
चरण 3) मानचित्र कम करें कॉन्फ़िगरेशन
इन कॉन्फ़िगरेशन के साथ आरंभ करने से पहले, आइए HADOOP_HOME पथ सेट करें
sudo gedit /etc/profile.d/hadoop.sh
और दर्ज करें
export HADOOP_HOME=/home/guru99/Downloads/Hadoop
अगला दर्ज करें
sudo chmod +x /etc/profile.d/hadoop.sh
टर्मिनल से बाहर निकलें और पुनः प्रारंभ करें
पथ सत्यापित करने के लिए echo $HADOOP_HOME टाइप करें।
अब फ़ाइलें कॉपी करें
sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml
ओपन mapred-साइट.xml पट्टिका
sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml
टैग के बीच में सेटिंग की नीचे दी गई पंक्तियाँ जोड़ें और
<property> <name>mapreduce.jobtracker.address</name> <value>localhost:54311</value> <description>MapReduce job tracker runs at this host and port. </description> </property>
प्रारंभिक $HADOOP_HOME/etc/hadoop/hdfs-site.xml नीचे के अनुसार,
sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml
टैग के बीच सेटिंग की नीचे दी गई पंक्तियाँ जोड़ें और
<property> <name>dfs.replication</name> <value>1</value> <description>Default block replication.</description> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hduser_/hdfs</value> </property>
उपरोक्त सेटिंग में निर्दिष्ट निर्देशिका बनाएं-
sudo mkdir -p <Path of Directory used in above setting>
sudo mkdir -p /home/hduser_/hdfs
sudo chown -R hduser_:hadoop_ <Path of Directory created in above step>
sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs
sudo chmod 750 <Path of Directory created in above step>
sudo chmod 750 /home/hduser_/hdfs
चरण 4) इससे पहले कि हम पहली बार Hadoop शुरू करें, नीचे दिए गए कमांड का उपयोग करके HDFS को फॉर्मेट करें
$HADOOP_HOME/bin/hdfs namenode -format
चरण 5) नीचे दिए गए आदेश का उपयोग करके Hadoop एकल नोड क्लस्टर प्रारंभ करें
$HADOOP_HOME/sbin/start-dfs.sh
उपरोक्त आदेश का आउटपुट
$HADOOP_HOME/sbin/start-yarn.sh
का प्रयोग 'जेपीएस' टूल/कमांड का उपयोग करके, सत्यापित करें कि क्या सभी Hadoop संबंधित प्रक्रियाएं चल रही हैं या नहीं।
यदि Hadoop सफलतापूर्वक प्रारंभ हो गया है तो jps का आउटपुट NameNode, NodeManager, ResourceManager, SecondaryNameNode, DataNode दिखाएगा।
चरण 6) हाडोप को रोकना
$HADOOP_HOME/sbin/stop-dfs.sh
$HADOOP_HOME/sbin/stop-yarn.sh
