Linux 上でステップバイステップ構成で Hadoop をインストールする方法 Ubuntu

替え： プラフラ・ラナディヴ プラフラ・ラナディヴ
Hours 更新中

このチュートリアルでは、LinuxボックスにApache Hadoopをインストールする手順を段階的に説明します（Ubuntu）。これは 2 つの部分からなるプロセスです

2あり 前提条件

パート 1) Hadoop をダウンロードしてインストールする

ステップ1） 以下のコマンドを使用して Hadoop システム ユーザーを追加します

sudo addgroup hadoop_

Hadoop をダウンロードしてインストールする

sudo adduser --ingroup hadoop_ hduser_

Hadoop をダウンロードしてインストールする

パスワード、名前、その他の詳細を入力します。

注: このセットアップおよびインストール処理において、以下のようなエラーが発生する可能性があります。

「hduser は sudoers ファイルにありません。 この事件は報道されます。」

Hadoop をダウンロードしてインストールする

このエラーは、root ユーザーとしてログインすることで解決できます。

Hadoop をダウンロードしてインストールする

コマンドを実行する

sudo adduser hduser_ sudo

Hadoop をダウンロードしてインストールする

Re-login as hduser_

Hadoop をダウンロードしてインストールする

ステップ2） SSH の構成

クラスタ内のノードを管理するには、HadoopはSSHアクセスを必要とする。

まず、ユーザーを切り替えて、次のコマンドを入力します

su - hduser_

Hadoop をダウンロードしてインストールする

このコマンドは新しいキーを作成します。

ssh-keygen -t rsa -P ""

Hadoop をダウンロードしてインストールする

このキーを使用してローカル マシンへの SSH アクセスを有効にします。

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Hadoop をダウンロードしてインストールする

次に、「hduser」ユーザーとしてローカルホストに接続して、SSH セットアップをテストします。

ssh localhost

Hadoop をダウンロードしてインストールする

注意： 「ssh localhost」への応答で以下のエラーが表示された場合は、このシステムで SSH が利用できない可能性があることに注意してください。

Hadoop をダウンロードしてインストールする

これを解決するには –

を使用して SSH をパージします。

sudo apt-get purge openssh-server

インストールを開始する前にパージすることをお勧めします

Hadoop をダウンロードしてインストールする

コマンドを使用して SSH をインストールします。

sudo apt-get install openssh-server

Hadoop をダウンロードしてインストールする

ステップ3） 次のステップは、 Hadoopをダウンロード

Hadoop をダウンロードしてインストールする

安定を選択

Hadoop をダウンロードしてインストールする

tar.gz ファイルを選択します (src を含むファイルではありません)。

Hadoop をダウンロードしてインストールする

ダウンロードが完了したら、tar ファイルが含まれるディレクトリに移動します。

Hadoop をダウンロードしてインストールする

を入力し、

sudo tar xzf hadoop-2.2.0.tar.gz

Hadoop をダウンロードしてインストールする

ここで、hadoop-2.2.0 の名前を hadoop に変更します。

sudo mv hadoop-2.2.0 hadoop

Hadoop をダウンロードしてインストールする

sudo chown -R hduser_:hadoop_ hadoop

Hadoop をダウンロードしてインストールする

関連記事

パート 2) Hadoop の構成

ステップ1） 修正します 〜/ .bashrc file

ファイルの末尾に次の行を追加します 〜/ .bashrc

#Set HADOOP_HOME
export HADOOP_HOME=<Installation Directory of Hadoop>
#Set JAVA_HOME
export JAVA_HOME=<Installation Directory of Java>
# Add bin/ directory of Hadoop to PATH
export PATH=$PATH:$HADOOP_HOME/bin

Hadoopの構成

次に、以下のコマンドを使用してこの環境構成を取得します。

. ~/.bashrc

Hadoopの構成

ステップ2） HDFS に関連する構成

作成セッションプロセスで JAVA_HOME ファイル内 $HADOOP_HOME/etc/hadoop/hadoop-env.sh

Hadoopの構成

Hadoopの構成

自律的AI

Hadoopの構成

パラメータは XNUMX つあります $HADOOP_HOME/etc/hadoop/core-site.xml どれを設定する必要がありますか-

1. 「hadoop.tmp.dir」 – Hadoop がデータ ファイルを保存するために使用するディレクトリを指定するために使用されます。

2.「fs.default.name」 – これにより、デフォルトのファイル システムが指定されます。

これらのパラメータを設定するには、core-site.xml を開きます。

sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml

Hadoopの構成

タグ間の以下の行をコピーします

<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>Parent directory for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS </name>
<value>hdfs://localhost:54310</value>
<description>The name of the default file system. </description>
</property>

Hadoopの構成

ディレクトリに移動します $HADOOP_HOME/etc/Hadoop

Hadoopの構成

ここで、core-site.xml に記載されているディレクトリを作成します。

sudo mkdir -p <Path of Directory used in above setting>

Hadoopの構成

ディレクトリにアクセス許可を付与します

sudo chown -R hduser_:Hadoop_ <Path of Directory created in above step>

Hadoopの構成

sudo chmod 750 <Path of Directory created in above step>

Hadoopの構成

ステップ3） マップリデュース構成

これらの構成を始める前に、HADOOP_HOME パスを設定しましょう

sudo gedit /etc/profile.d/hadoop.sh

そして入力してください

export HADOOP_HOME=/home/guru99/Downloads/Hadoop

Hadoopの構成

次の入力

sudo chmod +x /etc/profile.d/hadoop.sh

Hadoopの構成

ターミナルを終了し、再度起動します

「echo $HADOOP_HOME」と入力します。 パスを確認するには

Hadoopの構成

ファイルをコピーします

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

Hadoopの構成

Video Cloud Studioで マップレッドサイト.xml file

sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml

Hadoopの構成

タグの間に以下の設定行を追加しますそして

<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:54311</value>
<description>MapReduce job tracker runs at this host and port.
</description>
</property>

Hadoopの構成

店は開いています $HADOOP_HOME/etc/hadoop/hdfs-site.xml 以下のように、

sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Hadoopの構成

タグの間に以下の設定行を追加しますそして

<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hduser_/hdfs</value>
</property>

Hadoopの構成

上記の設定で指定したディレクトリを作成します-

sudo mkdir -p <Path of Directory used in above setting>
sudo mkdir -p /home/hduser_/hdfs

Hadoopの構成

sudo chown -R hduser_:hadoop_ <Path of Directory created in above step>
sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs

Hadoopの構成

sudo chmod 750 <Path of Directory created in above step>
sudo chmod 750 /home/hduser_/hdfs

Hadoopの構成

ステップ4） 初めて Hadoop を起動する前に、以下のコマンドを使用して HDFS をフォーマットします。

$HADOOP_HOME/bin/hdfs namenode -format

Hadoopの構成

ステップ5） 以下のコマンドを使用してHadoopシングルノードクラスタを起動します。

$HADOOP_HOME/sbin/start-dfs.sh

上記のコマンドの出力

Hadoopの構成

$HADOOP_HOME/sbin/start-yarn.sh

Hadoopの構成

使い方 「jps」 ツール/コマンドを使用して、すべての Hadoop 関連プロセスが実行されているかどうかを確認します。

Hadoopの構成

Hadoop が正常に開始された場合、jps の出力には NameNode、NodeManager、ResourceManager、SecondaryNameNode、DataNode が表示されるはずです。

ステップ6） Hadoopの停止

$HADOOP_HOME/sbin/stop-dfs.sh

Hadoopの構成

$HADOOP_HOME/sbin/stop-yarn.sh

Hadoopの構成