HADOOP – Fully distributed Mode

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys && chmod 755 ~/.ssh/authorized_keys

// 비번없이 접속테스트
$ ssh hadoop@localhost

하둡 셋팅

$ vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
// 아래 내용 수정
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
// site.xml 수정

$ vi /usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://hmaster:9000</value>
  </property>
</configuration>

vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>

  <property>
    <name>dfs.name.dir</name>
    <value>/usr/local/hadoop/dfs/name</value>
  </property>

  <property>
    <name>dfs.data.dir</name>
    <value>/usr/local/hadoop/dfs/data</value>
  </property>
</configuration>
$ cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.tem* /usr/local/hadoop/etc/hadoop/mapred-site.xml
$ vi /usr/local/hadoop/etc/hadoop/mapred-site.xml
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>hmaster:9001</value>
  </property>
</configuration>
$  vi /usr/local/hadoop/etc/hadoop/mapred-env.sh

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386

호스트 설정

$ sudo vi /etc/hosts

127.0.0.1 localhost
#127.0.1.1 hmaster
xxx.xxx.xxx.1 hmaster
xxx.xxx.xxx.2 hslave

여기까지 2대 모두 동일하게 셋팅한다 .

ssh 공개키 공유 

// hmaster에서
$ scp ~/.ssh/id_rsa.pub hadoop@hslave:~/hmaster_key

// hslave에서
$ scp ~/.ssh/id_rsa.pub hadoop@hmaster:~/hslave_key

// hmaster에서
$ cat ~/hslave_key >> ~/.ssh/authorized_keys

// hslave에서
$ cat ~/hmaster_key >> ~/.ssh/authorized_keys

하둡 실행

여기서 부터는 hmaster에서 실행합니다.
// namenode 포멧
$ /usr/local/hadoop/bin/hadoop namenode -format

// 하둡 실행
$ /usr/local/hadoop/sbin/start-all.sh

// 제대로 실행되었는지 데몬 확인하기
hadoop@hmaster:~$ jps
429 ResourceManager
2298 Jps
32477 NameNode
32746 SecondaryNameNode

hadoop@hslave:~$ jps
19787 DataNode
20270 Jps

// 웹브라우저에서 모니터링하기
http://xxx.xxx.xxx.1:50070  으로 접속해 보자.
하둡 데몬이 실행중이면 아래와 같은 화면이 나온다.

데쉬보드 메뉴를 클릭해보자.
hslave 항목이 들어있다.

datanode 에 아무것도 없으면 데이터 입출력을 할 수 없다.

예제 실행

인터넷에 돌아다니는 wordcount 예제 파일을 사용하였다.
계정 홈에 jar 파일과 분석할 입력파일(텍스트)을 업로드한다.
~/in/* 에 입력파일들이 있다고 가정하고