Ace-T's Blog 내 검색 [네이버 커넥트 이웃 합니다~^-^/ 요청 大 환영~~]

부록. 하둡 설치

BigDATA/Hadoop 2014.09.11 01:25
[Good Comment!!, Good Discussion!!, Good Contens!!]
[ If you think that is useful, please click the finger on the bottom~^-^good~ ]
by ace-T

하둡을 설치하기전에 해야할 일!

바로 리눅스 설치....

사실 하둡보다 리눅스 설치가 더 힘들었다..


setting~~



result :




환 경 : 맥북 프로 - Parallels

         setting OS - Ubuntu 14.04.1-server-amd64.iso   - 2014.09.04 최신버전!


목표 : 

  • 총 4대 : 네임노드 서버(Hadoop01) 1대, 데이터노드(Hadoop02, Hadoop03, Hadoop04) 3대 
  • openssh setting(Server, Client) - sudo apt-get install openssh-client openssh-server
  • mac에서 터미널로 접근(ssh hadoop01@xx.xx.xx.xx)
  • hadoop 계정 생성(홈디렉토리 지정)
  • Hadoop ver 1.x setting
  • JDK 1.6 이상 setting


1) mac 터미널로 접근을 해보자!

openssh를 설치하지 않으면! 접근 NO~~ - Connection refused!




그러므로 먼저 ssh를 셋팅하자!

sudo apt-get install openssh-client openssh-server



참고 사이트 : 우분투  SSH 셋팅 관련


이제는 하둡을 셋팅하기 위해 계정을 설정 해보자.

2) 하둡 실행 계정 생성

먼저 root로 로그인을 해야하기 때문에 처음 셋팅 시 root의 암호를 지정해줘야한다.

   $ sudo passwd


   root로 로그인하기 su root or su -


   login이후 계정생성!  계정은 반드시!! 전부 dakao로 해주어야한다!!! 그렇지 않으면 ssh 할 때 문제가..ㅠ.ㅠ..

   ex) adduser dakao --home /home/hadoop/hadoop


팁 : 유저변경 후 권한은 chown -R dakao:dakao /home/  이런식으로 하면 다카오계정에 다카오그룹이 홈이하로~


3) 하둡 설치-생성한 계정으로! ex) su dakao

wget을 이용!

wget "http://mirror.apache-kr.org/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz"


압축해제! tar -xvf hadoop-1-2-1.tar.gz


tip) chmod 명령어로 파일 또는 디렉토리 권한 설정을할 수 있음.


4) hosts 설정

root권한으로 /etc/hosts에 아래와 같이 상황에 맞게 수정한다.

10.231.15.1    search-nn-hadoop01

10.231.15.2    search-dn-hadoop02

10.231.15.3    search-dn-hadoop03

10.231.15.4    search-dn-hadoop04


5) 인코딩 확인

인코딩 확인 - utf-8이 아니라면 수정해줘야한다! 

     어디에서? 당근 루뜨로! vi /etc/sysconfig/i18n

     수정 후, source /etc/sysconfig/i18n

dakao01@ubuntu:~/hadoop-1.2.1$ echo $LANG

en_US.UTF-8


6) 자바 설치

명령어로 해보려하였지만..그냥 오라클 사이트가서 다운로드 뒤 파일지라로 업로드 하였음!

/home/hadoop01/hadoop/jdk1.7.0_67


setting 후 .profile에 추가!

export JAVA_HOME=/home/hadoop/hadoop/jdk1.7.0_67

export HADOOP_HOME=/home/hadoop/hadoop/hadoop-1.2.1

export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin


source .profile


적용 후! java -version 과 hadoop을 쳐보면 됩니다.


java -version

dakao01@ubuntu:~$ java -version

java version "1.7.0_67"

Java(TM) SE Runtime Environment (build 1.7.0_67-b01)

Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)


hadoop

Warning: $HADOOP_HOME is deprecated.


Usage: hadoop [--config confdir] COMMAND

where COMMAND is one of:

  namenode -format     format the DFS filesystem

  secondarynamenode    run the DFS secondary namenode

  namenode             run the DFS namenode

  datanode             run a DFS datanode

  dfsadmin             run a DFS admin client

  mradmin              run a Map-Reduce admin client

  fsck                 run a DFS filesystem checking utility

  fs                   run a generic filesystem user client

  balancer             run a cluster balancing utility

  oiv                  apply the offline fsimage viewer to an fsimage

  fetchdt              fetch a delegation token from the NameNode

  jobtracker           run the MapReduce job Tracker node

  pipes                run a Pipes job

  tasktracker          run a MapReduce task Tracker node

  historyserver        run job history servers as a standalone daemon

  job                  manipulate MapReduce jobs

  queue                get information regarding JobQueues

  version              print the version

  jar <jar>            run a jar file

  distcp <srcurl> <desturl> copy file or directories recursively

  distcp2 <srcurl> <desturl> DistCp version 2

  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive

  classpath            prints the class path needed to get the

                       Hadoop jar and the required libraries

  daemonlog            get/set the log level for each daemon

 or

  CLASSNAME            run the class named CLASSNAME

Most commands print help when invoked w/o parameters.


7) SSH 설정

  - SSH공개키를 생성(ssh-keygen -t rsa) - 명령어 수행 후 엔터신공! enter x 3 :D

dakao01@ubuntu:~$ ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/home/hadoop/hadoop/.ssh/id_rsa): 

Created directory '/home/hadoop01/hadoop/.ssh'.

Enter passphrase (empty for no passphrase): 

Enter same passphrase again: 

Your identification has been saved in /home/hadoop/hadoop/.ssh/id_rsa.

Your public key has been saved in /home/hadoop01/hadoop/.ssh/id_rsa.pub.

The key fingerprint is:

55:cc:3e:f2:50:bf:61:d6:28:fc:73:8d:60:79:0f:56 dakao01@ubuntu

The key's randomart image is:

+--[ RSA 2048]----+

|           o.    |

|           .+   E|

|          .+ o + |

|         .o O X .|

|        S  = X *.|

|            . = +|

|               o |

|                 |

|                 |

+-----------------+

 

공개키는 홈디렉토리 .ssh 폴더에 생성됩니다. 이제 생성된 공개키를 ssh-copy-id 명령어를 이용해 다른 서버에 복사합니다. ssh-copy-id 명령어는 대상 서버의 .ssh 디렉토리안에 있는 authorized_keys파일에 공개키를 입력합니다.


 - ssh-copy-id명령어 수행(우선 범위는 hadoop02)

dakao01@ubuntu:~$ ssh-copy-id -i /home/hadoop/hadoop/.ssh/id_rsa.pub dakao02@search-dn-hadoop02

The authenticity of host 'search-dn-hadoop02 (10.211.55.10)' can't be established.

ECDSA key fingerprint is 93:ba:c4:69:8b:e6:d7:f9:ee:2a:e2:39:5d:88:53:ff.

Are you sure you want to continue connecting (yes/no)? yes

/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed

/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys

dakao02@search-dn-hadoop02's password: 


Number of key(s) added: 1


Now try logging into the machine, with:   "ssh 'dakao02@search-dn-hadoop02'"

and check to make sure that only the key(s) you wanted were added.


 - dakao02서버에서 확인 - vi로 authorized_keys 확인! 

dakao02@ubuntu:~/.ssh$ ls

 

authorized_keys  id_rsa  id_rsa.pub


 - 테스트!

 search-nn-hadoop01 서버에서 ssh 명령어를 통해 붙어보자! 암호를 묻지 않고 붙는다면 OK!!

dakao01@ubuntu:~$ ssh search-dn-hadoop02

Welcome to Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)


 * Documentation:  https://help.ubuntu.com/


  System information as of Wed Sep  3 23:00:02 PDT 2014


  System load:  0.0               Processes:           160

  Usage of /:   3.0% of 61.88GB   Users logged in:     1

  Memory usage: 12%               IP address for eth0: ip가 나오지용!

  Swap usage:   0%


  Graph this data and manage this system at:

    https://landscape.canonical.com/


dakao02@ubuntu:~$ 


서로서로 전부 복사를 해줘야한다. 확인은 암호를 입력하지 않아도 쌍방향으로 서로 SSH에 접속이 되는지 보면 된다.

즉, authorized_keys 파일에는 자기자신을 포함 모든 키 정보가 들어가있어야 한다!


8) 하둡 환경설정 파일 수정!

    설치 작업의 끝이 보이는군요~~~ㅎㅎㅎㅎ

    슈퍼맨 서버 한대에 설정을 합니다! 그런 뒤에 압축해서 다른 서버에서 사용하도록 합니다.^-^b

              

    

 파일명

 용 도

 hadoop-env.sh

 하둡을 실행하는 쉘 스크립트 파일에서 필요한 환경 변수를 설정

 하둡 홈 디렉토리 아래에 있는 bin 디렉토리에 있는 쉘 스크립트 파일이 hadoop-env.sh를 사용합니다. 

 이 파일에는 JDK경로, ClassPath, 데몬 실행 옵션 등 다양한 환경변수를 설정할 수 있습니다.

 masters 

 보조 네임노드를 실행할 서버를 설정합니다.

 slaves

 데이터노드를 실행할 서버를 설정합니다. 

 core-site.xml

 HDFS맵-리듀스에서 공통적으로 사용할 환경 정보를 설정!

 hadoop-core-1.2.1.jar에 포함돼 있는 core-default.xml을 오버라이딩한 파일입니다.

 core-site.xml에 설정값이 없을 경우, core-default.xm에 있는 기본값을 사용합니다.

 hdfs-site.xml

 HDFS에서 사용할 환경 정보를 설정합니다. 

 hadoop-core-1.2.1.jar에 포함돼 있는 hdfs-default.xml를 오버라이딩한 파일 입니다. 

 hdfs-site.xml에 설정값이 없을 경우. hdfs-default.xml에 있는 기본값을 사용합니다.

 mapred-site.xml

 맵-리듀스에서 사용할 환경정보를 설정합니다. 

 hadoop-core-1.2.1.jar에 포함돼 있는 mapred-default.xml을 오버라이드한 파일입니다. 

 mapred.site.xml에 설정값이 없을 경우, mapred-default.xml에 있는 기본값을 사용합니다.


 - hadoop-env.sh 수정

   JDK_HOME  파라미터를 실제 JDK가 설치된 경로로 수정합니다.

   열어보시면 주석으로 막혀있습니다. 

   기존 :

    # The java implementation to use.  Required.

  # export JAVA_HOME=/usr/lib/j2sdk1.5-sun


   추가 :

   # modify ace-t

 export JAVA_HOME=/home/hadoop/hadoop/jdk1.7.0_67

  

  hadoop-env.sh에는 다양한 옵션들을 설정할 수 있습니다. 이 부분은 우선은 pass~~

  책 - 34~35page! 에 나와있습니다. 참고하세요^-^/


  - masters 수정

    masters 파일에는 보조 네임노드를 실행할 서버를 설정합니다.

    2개 이상의 보조 네임노드를 설정할 수 있으며, 한 줄에 하나의 서버를 기재하면 됩니다.

    서버는 호스트명 혹은 IP로 기재!


    현재 서버는 4대이며, 아래와 같이 구성해보도록 하겠습니다.

    search-nn-hadoop01 - 네임노드

    search-dn-hadoop02 - 보조 네임노드 겸 데이터노드

    search-dn-hadoop03 - 데이터 노드

    search-dn-hadoop04 - 데이터 노드


  - slaves 수정

    데이터노드를 실행할 서버를 설정! 2개 이상의 데이터노드를 설정할 수 있으며, 한줄에 하나의 서버를 기재하면 됩니다.

    서버는 호스트명 혹은 IP로 기재!


  - core-site.xml 수정

 fs.default.name과 hadoop.tmp.dir 속성을 추가하고, 다른 속성들은 core-default.xml에 있는 기본값을 사용!    

<configuration> 

 <property>

   <name>fs.default.name</name>

   <value>hdfs:search-nn-hadoop01:9000</value>

 </property>

 <property>

   <name>hadoop.tmp.dir</name>

   <value>/home/hadoop/hadooap/hadoop-data/

 </property>

</configuration>


fs.default.name : 데이터노드는 여러 작업을 진행하기 위해 반드시 네임노드의 주소를 알고 있어야 합니다.

                        예를 들어 네임노드로 하트비트나 블록 리포트를 보낼 때 바로 이값을 참조해서 네임노드를 호출 합니다.

hadoop.tmp.dir : 하둡에서 발생하는 임시 데이터를 저장하기 우한 공간 입니다. 

attempt-xxxx, history..등등  MR작업 등 하둡에서 무엇인가 동작할 때 아직은 잘모르겠지만 로그성 같은 저장 합니다.


 - hdfs-site.xml 수정

   dfs.replication : 이 친구는 HDFS의 저장될 데이터의 복제본 개수를 의미 합니다.

   dfs.http.address : 네임노드용 웹서버의 주소값입니다. 기본값은 0.0.0.0:50070으로 설정돼 있습니다.

   완전 분산 모드로 설치할 경우 반드시 이 속성을 설정해야 합니다.

   이 속성이 없으면 보조 네임노드가 네임노드에 접속하지 못하기 때문 입니다.

<configuration>

  <property>

    <name>dfs.replication</name>

    <value>3</value>

  </property>

  

  <property>

    <name>dfs.http.address</name>

    <value>search-nn-hadoop01:50070</value>

  </property>

  

  <property>

    <name>dfs.secondary.http.address</name>

    <value>search-dn-hadoop02:50090</value>

  </property>

</configuration>


 - mapred-site.xml 수정

   mapred.job.tracker 속성을 추가하며,아래와 같이 작성 되어집니다.

   또한 잡트래커(JobTrakcer) 데몬의 주소를 의미하며, 데이터노드에서 이 주소로 맵-리듀스 작업을 요청하게 됩니다.

<configuration>

  <property>

    <name>mapred.job.tracker</name>

    <value>search-nn-hadoop01:9001</value>

  </property>

</configuration>


여기까쥐~!! 한대의 서버에다가 설정을 하였습니다. 이제는 압축을 한 뒤에 각각의 서버에 복사 해보도록 하겠습니다!


9) 압축하기

dakao01@ubuntu:~$ tar cvfz hadoop-1.2.1.tar.gz hadoop-1.2.1/


10) 각 서버에 복사하기(SCP명령어 사용)

scp [원본경로] [전송될 서버의 계정@전송될 호스트명:전송될 디렉토리]

dakao01@ubuntu:~$ scp hadoop-1.2.1.tar.gz dakao02@search-dn-hadoop02:/home/hadoop02/hadoop

hadoop-1.2.1.tar.gz 


각 서버 search-dn-hadoop02, search-dn-hadoop03search-dn-hadoop04에 전송한다!


11) 압축 해제! (원본을 가지고 있는 서버에서 수행하시면 됩니다.)

ssh dakao@search-dn-hadoop03 "cd /home/hadoop03/hadoop; tar xvzf hadoop-1.2.1.tar.gz; chmod -R 775 hadoop-1.2.1/"


12) 전송 및 압축 해제가 잘되었는지 확인하고! 위에서 언급하였던 core-site.xml에서 경로부분을 수정하여 줍니다.

   음...hadoop01, hadoop02, hadoop03, hadoop04이런식이 아닌 hadoop으로 경로를 맞춰주면 더 편하겠네요!

   ex) 아래의 value부분의 서버에 맞게 경로를 맞춰줍니다.

   <name>hadoop.tmp.dir</name>

   <value>/home/hadoop02/hadooap/hadoop-data/


13) 마지막으로 .profile의 내용이 안먹히는 현상이 있다면 source .profile를 해줍니다.

      java -version or hadoop 등 명령어 수행 해보신 뒤에 말이죠!^^;


14) 하둡 실행 전 해야할 일!

리눅스에서 실행 중인 방화벽 서비스를 종료해야 합니다. 하둡의 여러 데몬들은 특정 포트로 RPC또는 HTTP통신을 하게 됩니다. 방화벽은 기본적인 포트를 제외하고 대부분 포트를 차단하고 있기 때문에 하둡이 정상적으로 실행되지 않을 수 있습니다.

그래서 실행 중인 방화벽 서비스를 정지하고, 서버가 부팅할 때도 방화벽이 실행되지 않도록 chkconfig명령어를 실행해야 합니다. root권한으로 실행해야 합니다. 반드시!


   (1) service iptables stop

ubuntu에서는 명령어가 조금 달랐다. 루트로 접속한 뒤에 ufw status는 상태를!(inactive : stop, active : ing)

ufw disable은 정지를! ufw enable은 시작을! 

(참고 http://www.cyberciti.biz/faq/ubuntu-start-stop-iptables-service/ )

root@ubuntu:/home/hadoop01/hadoop# sudo ufw status    - 방화벽 상태

Status: inactive

root@ubuntu:/home/hadoop01/hadoop# sudo ufw disable

Firewall stopped and disabled on system startup


   (2) chkconfig iptables off

ubuntu는 이것 역시 달랐다!


찾아봤더니..sysv-rc-conf라는 것이 있었다.

(참고 : http://askubuntu.com/questions/221293/why-is-chkconfig-no-longer-available-in-ubuntu)


install : sudo apt-get install sysv-rc-conf


설치 후 sysv-rc-conf --list  or sysv-rc-conf --list iptalbes 을 보면 현황을 알수있다.

sysv-rc-conf iptables off를 하면 off가 되어진다.

root@ubuntu:/home/hadoop01/hadoop# sysv-rc-conf iptables off

root@ubuntu:/home/hadoop01/hadoop# sysv-rc-conf --list iptables

iptables     2:off 3:off 4:off 5:off


15) 하둡 실행!(실행하기 빡세군요..ㄷㄷ)

 루트에서 다시 원래의 계정으로 돌아오신 뒤에 /home/hadoop01/hadoop/hadoop-1.2.1/bin 의 hadoop을 실행시켜 보면 아래와 같은 정보를 볼 수 있습니다.

dakao01@ubuntu:~/hadoop-1.2.1/bin$ ./hadoop

Warning: $HADOOP_HOME is deprecated.


Usage: hadoop [--config confdir] COMMAND

where COMMAND is one of:

  namenode -format     format the DFS filesystem

  secondarynamenode    run the DFS secondary namenode

  namenode             run the DFS namenode

  datanode             run a DFS datanode

  dfsadmin             run a DFS admin client

  mradmin              run a Map-Reduce admin client

  fsck                 run a DFS filesystem checking utility

  fs                   run a generic filesystem user client

  balancer             run a cluster balancing utility

  oiv                  apply the offline fsimage viewer to an fsimage

  fetchdt              fetch a delegation token from the NameNode

  jobtracker           run the MapReduce job Tracker node

  pipes                run a Pipes job

  tasktracker          run a MapReduce task Tracker node

  historyserver        run job history servers as a standalone daemon

  job                  manipulate MapReduce jobs

  queue                get information regarding JobQueues

  version              print the version

  jar <jar>            run a jar file

  distcp <srcurl> <desturl> copy file or directories recursively

  distcp2 <srcurl> <desturl> DistCp version 2

  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive

  classpath            prints the class path needed to get the

                       Hadoop jar and the required libraries

  daemonlog            get/set the log level for each daemon

 or

  CLASSNAME            run the class named CLASSNAME

Most commands print help when invoked w/o parameters.


네임노드를 초기화 시키는 작업을 해보겠습니다.


./hadoop namenode -format


오류내역


위의 오류는 확인해보니... </value>를 해주지 않았었네요ㅠㅠ


다시 수행해보겠습니다.

dakao01@ubuntu:~/hadoop-1.2.1/bin$ ./hadoop namenode -format

Warning: $HADOOP_HOME is deprecated.


14/09/04 21:41:39 INFO namenode.NameNode: STARTUP_MSG: 

/************************************************************

STARTUP_MSG: Starting NameNode

STARTUP_MSG:   host = ubuntu/127.0.1.1

STARTUP_MSG:   args = [-format]

STARTUP_MSG:   version = 1.2.1

STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013

STARTUP_MSG:   java = 1.7.0_67

************************************************************/

14/09/04 21:41:39 INFO util.GSet: Computing capacity for map BlocksMap

14/09/04 21:41:39 INFO util.GSet: VM type       = 64-bit

14/09/04 21:41:39 INFO util.GSet: 2.0% max memory = 1013645312

14/09/04 21:41:39 INFO util.GSet: capacity      = 2^21 = 2097152 entries

14/09/04 21:41:39 INFO util.GSet: recommended=2097152, actual=2097152

14/09/04 21:41:39 INFO namenode.FSNamesystem: fsOwner=dakao01

14/09/04 21:41:39 INFO namenode.FSNamesystem: supergroup=supergroup

14/09/04 21:41:39 INFO namenode.FSNamesystem: isPermissionEnabled=true

14/09/04 21:41:40 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100

14/09/04 21:41:40 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)

14/09/04 21:41:40 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0

14/09/04 21:41:40 INFO namenode.NameNode: Caching file names occuring more than 10 times 

14/09/04 21:41:40 INFO common.Storage: Image file /home/hadoop01/hadooap/hadoop-data/dfs/name/current/fsimage of size 113 bytes saved in 0 seconds.

14/09/04 21:41:40 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/home/hadoop01/hadooap/hadoop-data/dfs/name/current/edits

14/09/04 21:41:40 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/home/hadoop01/hadooap/hadoop-data/dfs/name/current/edits

14/09/04 21:41:40 INFO common.Storage: Storage directory /home/hadoop/hadooap/hadoop-data/dfs/name has been successfully formatted.

14/09/04 21:41:40 INFO namenode.NameNode: SHUTDOWN_MSG: 

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1

************************************************************/


위에보시면 /home/hadoop/hadooap/hadoop-data/dfs/name has been successfully formatted.라고 나오시면 됩니다!

초기화 완료!


이제는 bin디렉토리에 있는 start-all.sh를 통해 하둡과 관련된 모든 데몬을 실행시켜 보겠습니다.

slaves 파일과 ssh 공개키 설정이 제대로 됐다면 데이터노드용 서버에서 데이터노드와 태스크트래커 데몬을 각각 실행 합니다. 


매우 중요!!

error01) 계정과 홈디렉토리를 구분이 되게끔 하려고했으나..아래처럼..찾지 못하는 현상이 있으므로..계정과 홈디렉토리는 각 서버마다 맞춰줘야 합니다.!!

dakao@ubuntu:~/hadoop-1.2.1/bin$ ./start-all.sh

starting namenode, logging to /home/hadoop01/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-namenode-ubuntu.out

search-dn-hadoop02: bash: line 0: cd: /home/hadoop01/hadoop/hadoop-1.2.1/libexec/..: No such file or directory

search-dn-hadoop02: bash: /home/hadoop01/hadoop/hadoop-1.2.1/bin/hadoop-daemon.sh: No such file or directory


error02) java.io.IOException: Incomplete HDFS URI, no host: 네임노드, 데이터노드 안뜨는 현상!

/home/hadoop/hadoop/hadoop-1.2.1/conf 에서 core-site.xml 부분에...잘못 적었다!! -0-;;

<configuration>

 <property>

   <name>fs.default.name</name>

   <value>hdfs://search-nn-hadoop01:9000</value> - good hdfs:// 인데..hdfs:로 해놨었다..ㅠ.ㅠ..

 </property>

 <property>

   <name>hadoop.tmp.dir</name>

   <value>/home/hadoop/hadoop/hadoop-data/</value>

 </property>

</configuration>


위와같이 올바르게 작성한 뒤 다시!!! hadoop namenode -format이라는 것을 통해 다시 빌드 시켜줘야한다!!! 



결과

dakao@ubuntu:/home/hadoop/hadoop/hadoop-1.2.1/bin$ ./start-all.sh 

Warning: $HADOOP_HOME is deprecated.  <-- 요녀석이 안뜰려면 hadoop-env.sh 에서 export HADOOP_HOME_WARN_SUPPRESS="TRUE" 를 export해주면 된다.


starting namenode, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-namenode-ubuntu.out

search-dn-hadoop02: starting datanode, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-datanode-ubuntu.out

search-dn-hadoop03: starting datanode, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-datanode-ubuntu.out

search-dn-hadoop04: starting datanode, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-datanode-ubuntu.out

search-dn-hadoop02: starting secondarynamenode, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-secondarynamenode-ubuntu.out

jobtracker running as process 3927. Stop it first.

search-dn-hadoop04: starting tasktracker, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-tasktracker-ubuntu.out

search-dn-hadoop02: starting tasktracker, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-tasktracker-ubuntu.out

search-dn-hadoop03: starting tasktracker, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-tasktracker-ubuntu.out



잘 떴나 확인!

 - 네임노드 서버에서 jps명령어를 통해 NameNode와 JobTracker를 확인!

dakao@ubuntu:/home/hadoop/hadoop/hadoop-1.2.1/bin$ jps

7114 Jps

6824 NameNode

7004 JobTracker


 - 데이터노드 서버에서 jps명령어를 통해 DataNode와 TaskTracker 등을 확인!

dakao@ubuntu:/home/hadoop/hadoop/hadoop-1.2.1/conf$ jps

7165 TaskTracker

6913 DataNode

7248 Jps

7038 SecondaryNameNode


 - END -

            





저작자 표시 비영리 변경 금지
신고

'BigDATA > Hadoop' 카테고리의 다른 글

부록. 하둡설치(CDH)-클라우데라 배포판  (0) 2014.10.07
04. 하둡 예제 실행 및 코딩해보기!  (0) 2014.09.15
부록. 하둡 설치  (0) 2014.09.11
03. 맵리듀스 시작하기 - 맵-리듀스 개념  (5) 2014.09.01
02. About HDFS..  (0) 2014.08.28
01. 하둡 소개  (0) 2014.08.27

acet 박태하가 추천하는 readtrend 추천글!

설정

트랙백

댓글

:::: facebook을 이용하시는 분들은 로그인 후 아래에 코멘트를 남겨주세요 ::::

티스토리 툴바