Linux에서 단계별 구성으로 Hadoop을 설치하는 방법 Ubuntu

이 튜토리얼에서는 Linux 상자에 Apache Hadoop을 설치하는 단계별 프로세스를 안내해 드립니다.Ubuntu). 이는 2부분으로 구성된 프로세스입니다.

1부) Hadoop 다운로드 및 설치
2부) Hadoop 구성

2이 있습니다 사전 조건

당신이해야합니다 Ubuntu 설치 그리고 달리기
당신이해야합니다 Java 설치됩니다.

1부) Hadoop 다운로드 및 설치

단계 1) 아래 명령을 사용하여 Hadoop 시스템 사용자를 추가합니다.

sudo addgroup hadoop_

sudo adduser --ingroup hadoop_ hduser_

비밀번호, 이름 및 기타 세부 정보를 입력하세요.

알림: 본 설정 및 설치 과정에서 아래와 같은 오류가 발생할 가능성이 있습니다.

“hduser는 sudoers 파일에 없습니다. 이 사건은 보고될 것입니다.”

이 오류는 루트 사용자로 로그인하여 해결할 수 있습니다.

명령을 실행하십시오.

sudo adduser hduser_ sudo

Re-login as hduser_

단계 2) SSH 구성

클러스터의 노드를 관리하려면 Hadoop에 SSH 액세스가 필요합니다.

먼저 사용자를 전환하려면 다음 명령을 입력하세요.

su - hduser_

이 명령은 새 키를 생성합니다.

ssh-keygen -t rsa -P ""

이 키를 사용하여 로컬 시스템에 대한 SSH 액세스를 활성화합니다.

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

이제 'hduser' 사용자로 localhost에 연결하여 SSH 설정을 테스트합니다.

ssh localhost

참고 : 'ssh localhost'에 대한 응답으로 아래 오류가 표시되면 이 시스템에서 SSH를 사용할 수 없을 가능성이 있습니다.

이 문제를 해결하려면 –

다음을 사용하여 SSH를 제거합니다.

sudo apt-get purge openssh-server

설치를 시작하기 전에 퍼지하는 것이 좋습니다.

다음 명령을 사용하여 SSH를 설치하십시오.

sudo apt-get install openssh-server

단계 3) 다음 단계는 하둡 다운로드

안정적인 선택

tar.gz 파일을 선택하세요(src가 있는 파일 아님)

다운로드가 완료되면 tar 파일이 포함된 디렉터리로 이동합니다.

입력

sudo tar xzf hadoop-2.2.0.tar.gz

이제 hadoop-2.2.0의 이름을 hadoop으로 바꾸십시오.

sudo mv hadoop-2.2.0 hadoop

sudo chown -R hduser_:hadoop_ hadoop

2부) Hadoop 구성

단계 1) 수정 ~ / .bashrc 파일

파일 끝에 다음 줄을 추가하세요 ~ / .bashrc

#Set HADOOP_HOME
export HADOOP_HOME=<Installation Directory of Hadoop>
#Set JAVA_HOME
export JAVA_HOME=<Installation Directory of Java>
# Add bin/ directory of Hadoop to PATH
export PATH=$PATH:$HADOOP_HOME/bin

이제 아래 명령을 사용하여 이 환경 구성을 소싱하세요.

. ~/.bashrc

단계 2) HDFS 관련 구성

세트 JAVA_HOME 내부 파일 $HADOOP_HOME/etc/hadoop/hadoop-env.sh

와

에는 두 개의 매개변수가 있습니다. $HADOOP_HOME/etc/hadoop/core-site.xml 설정해야 할 것 -

1. 'hadoop.tmp.dir' – Hadoop에서 데이터 파일을 저장하는 데 사용할 디렉터리를 지정하는 데 사용됩니다.

2. 'fs.default.name' – 이는 기본 파일 시스템을 지정합니다.

이러한 매개변수를 설정하려면 core-site.xml을 엽니다.

sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml

태그 사이에 아래 줄을 복사하세요.

<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>Parent directory for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS </name>
<value>hdfs://localhost:54310</value>
<description>The name of the default file system. </description>
</property>

디렉토리로 이동 $HADOOP_HOME/etc/하둡

이제 core-site.xml에 언급된 디렉터리를 만듭니다.

sudo mkdir -p <Path of Directory used in above setting>

디렉터리에 권한 부여

sudo chown -R hduser_:Hadoop_ <Path of Directory created in above step>

sudo chmod 750 <Path of Directory created in above step>

단계 3) 맵 축소 구성

이러한 구성을 시작하기 전에 HADOOP_HOME 경로를 설정해 보겠습니다.

sudo gedit /etc/profile.d/hadoop.sh

그리고 입력

export HADOOP_HOME=/home/guru99/Downloads/Hadoop

다음 입력

sudo chmod +x /etc/profile.d/hadoop.sh

터미널을 종료하고 다시 시작하세요.

echo $HADOOP_HOME을 입력하세요. 경로를 확인하려면

이제 파일을 복사하세요

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

열기 mapred-site.xml 파일

sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml

태그 사이에 아래 설정 줄을 추가하십시오. 그리고

<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:54311</value>
<description>MapReduce job tracker runs at this host and port.
</description>
</property>

엽니다 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 아래,

sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml

태그 사이에 아래 설정 줄을 추가하십시오. 그리고

<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hduser_/hdfs</value>
</property>

위 설정에 지정된 디렉터리를 만듭니다.

sudo mkdir -p <Path of Directory used in above setting>

sudo mkdir -p /home/hduser_/hdfs

sudo chown -R hduser_:hadoop_ <Path of Directory created in above step>

sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs

sudo chmod 750 <Path of Directory created in above step>

sudo chmod 750 /home/hduser_/hdfs

단계 4) Hadoop을 처음 시작하기 전에 아래 명령을 사용하여 HDFS를 포맷하세요.

$HADOOP_HOME/bin/hdfs namenode -format

단계 5) 아래 명령을 사용하여 Hadoop 단일 노드 클러스터를 시작합니다.

$HADOOP_HOME/sbin/start-dfs.sh

위 명령의 출력

$HADOOP_HOME/sbin/start-yarn.sh

사용 'jps' 도구/명령어를 사용하여 Hadoop 관련 프로세스가 모두 실행 중인지 확인합니다.

Hadoop이 성공적으로 시작된 경우 jps 출력에 NameNode, NodeManager, ResourceManager, SecondaryNameNode, DataNode가 표시되어야 합니다.

단계 6) 하둡 중지

$HADOOP_HOME/sbin/stop-dfs.sh

$HADOOP_HOME/sbin/stop-yarn.sh

1부) Hadoop 다운로드 및 설치

관련 기사

2부) Hadoop 구성

뉴스레터 신청하기