2014. 9. 11. 01:25ㆍBigDATA/Hadoop
하둡을 설치하기전에 해야할 일!
바로 리눅스 설치....
사실 하둡보다 리눅스 설치가 더 힘들었다..
setting~~
result :
환 경 : 맥북 프로 - Parallels
setting OS - Ubuntu 14.04.1-server-amd64.iso - 2014.09.04 최신버전!
목표 :
- 총 4대 : 네임노드 서버(Hadoop01) 1대, 데이터노드(Hadoop02, Hadoop03, Hadoop04) 3대
- openssh setting(Server, Client) - sudo apt-get install openssh-client openssh-server
- mac에서 터미널로 접근(ssh hadoop01@xx.xx.xx.xx)
- hadoop 계정 생성(홈디렉토리 지정)
- Hadoop ver 1.x setting
- JDK 1.6 이상 setting
1) mac 터미널로 접근을 해보자!
openssh를 설치하지 않으면! 접근 NO~~ - Connection refused!
그러므로 먼저 ssh를 셋팅하자!
sudo apt-get install openssh-client openssh-server
참고 사이트 : 우분투 SSH 셋팅 관련
이제는 하둡을 셋팅하기 위해 계정을 설정 해보자.
2) 하둡 실행 계정 생성
먼저 root로 로그인을 해야하기 때문에 처음 셋팅 시 root의 암호를 지정해줘야한다.
$ sudo passwd
root로 로그인하기 su root or su -
login이후 계정생성! 계정은 반드시!! 전부 dakao로 해주어야한다!!! 그렇지 않으면 ssh 할 때 문제가..ㅠ.ㅠ..
ex) adduser dakao --home /home/hadoop/hadoop
팁 : 유저변경 후 권한은 chown -R dakao:dakao /home/ 이런식으로 하면 다카오계정에 다카오그룹이 홈이하로~
3) 하둡 설치-생성한 계정으로! ex) su dakao
wget을 이용!
wget "http://mirror.apache-kr.org/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz"
압축해제! tar -xvf hadoop-1-2-1.tar.gz
tip) chmod 명령어로 파일 또는 디렉토리 권한 설정을할 수 있음.
4) hosts 설정
root권한으로 /etc/hosts에 아래와 같이 상황에 맞게 수정한다.
10.231.15.1 search-nn-hadoop01
10.231.15.2 search-dn-hadoop02
10.231.15.3 search-dn-hadoop03
10.231.15.4 search-dn-hadoop04
5) 인코딩 확인
인코딩 확인 - utf-8이 아니라면 수정해줘야한다!
어디에서? 당근 루뜨로! vi /etc/sysconfig/i18n
수정 후, source /etc/sysconfig/i18n
dakao01@ubuntu:~/hadoop-1.2.1$ echo $LANG
en_US.UTF-8
6) 자바 설치
명령어로 해보려하였지만..그냥 오라클 사이트가서 다운로드 뒤 파일지라로 업로드 하였음!
/home/hadoop01/hadoop/jdk1.7.0_67
setting 후 .profile에 추가!
export JAVA_HOME=/home/hadoop/hadoop/jdk1.7.0_67
export HADOOP_HOME=/home/hadoop/hadoop/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin
source .profile
적용 후! java -version 과 hadoop을 쳐보면 됩니다.
java -version
dakao01@ubuntu:~$ java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)
hadoop
Warning: $HADOOP_HOME is deprecated.
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -format format the DFS filesystem
secondarynamenode run the DFS secondary namenode
namenode run the DFS namenode
datanode run a DFS datanode
dfsadmin run a DFS admin client
mradmin run a Map-Reduce admin client
fsck run a DFS filesystem checking utility
fs run a generic filesystem user client
balancer run a cluster balancing utility
oiv apply the offline fsimage viewer to an fsimage
fetchdt fetch a delegation token from the NameNode
jobtracker run the MapReduce job Tracker node
pipes run a Pipes job
tasktracker run a MapReduce task Tracker node
historyserver run job history servers as a standalone daemon
job manipulate MapReduce jobs
queue get information regarding JobQueues
version print the version
jar <jar> run a jar file
distcp <srcurl> <desturl> copy file or directories recursively
distcp2 <srcurl> <desturl> DistCp version 2
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
classpath prints the class path needed to get the
Hadoop jar and the required libraries
daemonlog get/set the log level for each daemon
or
CLASSNAME run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
7) SSH 설정
- SSH공개키를 생성(ssh-keygen -t rsa) - 명령어 수행 후 엔터신공! enter x 3 :D
dakao01@ubuntu:~$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/hadoop/.ssh/id_rsa):
Created directory '/home/hadoop01/hadoop/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/hadoop/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop01/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
55:cc:3e:f2:50:bf:61:d6:28:fc:73:8d:60:79:0f:56 dakao01@ubuntu
The key's randomart image is:
+--[ RSA 2048]----+
| o. |
| .+ E|
| .+ o + |
| .o O X .|
| S = X *.|
| . = +|
| o |
| |
| |
+-----------------+
공개키는 홈디렉토리 .ssh 폴더에 생성됩니다. 이제 생성된 공개키를 ssh-copy-id 명령어를 이용해 다른 서버에 복사합니다. ssh-copy-id 명령어는 대상 서버의 .ssh 디렉토리안에 있는 authorized_keys파일에 공개키를 입력합니다.
- ssh-copy-id명령어 수행(우선 범위는 hadoop02)
dakao01@ubuntu:~$ ssh-copy-id -i /home/hadoop/hadoop/.ssh/id_rsa.pub dakao02@search-dn-hadoop02
The authenticity of host 'search-dn-hadoop02 (10.211.55.10)' can't be established.
ECDSA key fingerprint is 93:ba:c4:69:8b:e6:d7:f9:ee:2a:e2:39:5d:88:53:ff.
Are you sure you want to continue connecting (yes/no)? yes
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
dakao02@search-dn-hadoop02's password:
Number of key(s) added: 1
Now try logging into the machine, with: "ssh 'dakao02@search-dn-hadoop02'"
and check to make sure that only the key(s) you wanted were added.
- dakao02서버에서 확인 - vi로 authorized_keys 확인!
dakao02@ubuntu:~/.ssh$ ls
authorized_keys id_rsa id_rsa.pub
- 테스트!
search-nn-hadoop01 서버에서 ssh 명령어를 통해 붙어보자! 암호를 묻지 않고 붙는다면 OK!!
dakao01@ubuntu:~$ ssh search-dn-hadoop02
Welcome to Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)
* Documentation: https://help.ubuntu.com/
System information as of Wed Sep 3 23:00:02 PDT 2014
System load: 0.0 Processes: 160
Usage of /: 3.0% of 61.88GB Users logged in: 1
Memory usage: 12% IP address for eth0: ip가 나오지용!
Swap usage: 0%
Graph this data and manage this system at:
https://landscape.canonical.com/
dakao02@ubuntu:~$
서로서로 전부 복사를 해줘야한다. 확인은 암호를 입력하지 않아도 쌍방향으로 서로 SSH에 접속이 되는지 보면 된다.
즉, authorized_keys 파일에는 자기자신을 포함 모든 키 정보가 들어가있어야 한다!
8) 하둡 환경설정 파일 수정!
설치 작업의 끝이 보이는군요~~~ㅎㅎㅎㅎ
서버 한대에 설정을 합니다! 그런 뒤에 압축해서 다른 서버에서 사용하도록 합니다.^-^b
|
파일명 |
용 도 |
|
hadoop-env.sh |
하둡을 실행하는 쉘 스크립트 파일에서 필요한 환경 변수를 설정! 하둡 홈 디렉토리 아래에 있는 bin 디렉토리에 있는 쉘 스크립트 파일이 hadoop-env.sh를 사용합니다. 이 파일에는 JDK경로, ClassPath, 데몬 실행 옵션 등 다양한 환경변수를 설정할 수 있습니다. |
|
masters |
보조 네임노드를 실행할 서버를 설정합니다. |
|
slaves |
데이터노드를 실행할 서버를 설정합니다. |
|
core-site.xml |
HDFS와 맵-리듀스에서 공통적으로 사용할 환경 정보를 설정! hadoop-core-1.2.1.jar에 포함돼 있는 core-default.xml을 오버라이딩한 파일입니다. core-site.xml에 설정값이 없을 경우, core-default.xm에 있는 기본값을 사용합니다. |
|
hdfs-site.xml |
HDFS에서 사용할 환경 정보를 설정합니다. hadoop-core-1.2.1.jar에 포함돼 있는 hdfs-default.xml를 오버라이딩한 파일 입니다. hdfs-site.xml에 설정값이 없을 경우. hdfs-default.xml에 있는 기본값을 사용합니다. |
|
mapred-site.xml |
맵-리듀스에서 사용할 환경정보를 설정합니다. hadoop-core-1.2.1.jar에 포함돼 있는 mapred-default.xml을 오버라이드한 파일입니다. mapred.site.xml에 설정값이 없을 경우, mapred-default.xml에 있는 기본값을 사용합니다. |
- hadoop-env.sh 수정
JDK_HOME 파라미터를 실제 JDK가 설치된 경로로 수정합니다.
열어보시면 주석으로 막혀있습니다.
기존 :
# The java implementation to use. Required.
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
추가 :
# modify ace-t
export JAVA_HOME=/home/hadoop/hadoop/jdk1.7.0_67
hadoop-env.sh에는 다양한 옵션들을 설정할 수 있습니다. 이 부분은 우선은 pass~~
책 - 34~35page! 에 나와있습니다. 참고하세요^-^/
- masters 수정
masters 파일에는 보조 네임노드를 실행할 서버를 설정합니다.
2개 이상의 보조 네임노드를 설정할 수 있으며, 한 줄에 하나의 서버를 기재하면 됩니다.
서버는 호스트명 혹은 IP로 기재!
현재 서버는 4대이며, 아래와 같이 구성해보도록 하겠습니다.
search-nn-hadoop01 - 네임노드
search-dn-hadoop02 - 보조 네임노드 겸 데이터노드
search-dn-hadoop03 - 데이터 노드
search-dn-hadoop04 - 데이터 노드
- slaves 수정
데이터노드를 실행할 서버를 설정! 2개 이상의 데이터노드를 설정할 수 있으며, 한줄에 하나의 서버를 기재하면 됩니다.
서버는 호스트명 혹은 IP로 기재!
- core-site.xml 수정
fs.default.name과 hadoop.tmp.dir 속성을 추가하고, 다른 속성들은 core-default.xml에 있는 기본값을 사용!
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs:search-nn-hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadooap/hadoop-data/
</property>
</configuration>
fs.default.name : 데이터노드는 여러 작업을 진행하기 위해 반드시 네임노드의 주소를 알고 있어야 합니다.
예를 들어 네임노드로 하트비트나 블록 리포트를 보낼 때 바로 이값을 참조해서 네임노드를 호출 합니다.
hadoop.tmp.dir : 하둡에서 발생하는 임시 데이터를 저장하기 우한 공간 입니다.
attempt-xxxx, history..등등 MR작업 등 하둡에서 무엇인가 동작할 때 아직은 잘모르겠지만 로그성 같은 저장 합니다.
- hdfs-site.xml 수정
dfs.replication : 이 친구는 HDFS의 저장될 데이터의 복제본 개수를 의미 합니다.
dfs.http.address : 네임노드용 웹서버의 주소값입니다. 기본값은 0.0.0.0:50070으로 설정돼 있습니다.
완전 분산 모드로 설치할 경우 반드시 이 속성을 설정해야 합니다.
이 속성이 없으면 보조 네임노드가 네임노드에 접속하지 못하기 때문 입니다.
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.http.address</name>
<value>search-nn-hadoop01:50070</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>search-dn-hadoop02:50090</value>
</property>
</configuration>
- mapred-site.xml 수정
mapred.job.tracker 속성을 추가하며,아래와 같이 작성 되어집니다.
또한 잡트래커(JobTrakcer) 데몬의 주소를 의미하며, 데이터노드에서 이 주소로 맵-리듀스 작업을 요청하게 됩니다.
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>search-nn-hadoop01:9001</value>
</property>
</configuration>
여기까쥐~!! 한대의 서버에다가 설정을 하였습니다. 이제는 압축을 한 뒤에 각각의 서버에 복사 해보도록 하겠습니다!
9) 압축하기
dakao01@ubuntu:~$ tar cvfz hadoop-1.2.1.tar.gz hadoop-1.2.1/
10) 각 서버에 복사하기(SCP명령어 사용)
scp [원본경로] [전송될 서버의 계정@전송될 호스트명:전송될 디렉토리]
dakao01@ubuntu:~$ scp hadoop-1.2.1.tar.gz dakao02@search-dn-hadoop02:/home/hadoop02/hadoop
hadoop-1.2.1.tar.gz
각 서버 search-dn-hadoop02, search-dn-hadoop03, search-dn-hadoop04에 전송한다!
11) 압축 해제! (원본을 가지고 있는 서버에서 수행하시면 됩니다.)
ssh dakao@search-dn-hadoop03 "cd /home/hadoop03/hadoop; tar xvzf hadoop-1.2.1.tar.gz; chmod -R 775 hadoop-1.2.1/"
12) 전송 및 압축 해제가 잘되었는지 확인하고! 위에서 언급하였던 core-site.xml에서 경로부분을 수정하여 줍니다.
음...hadoop01, hadoop02, hadoop03, hadoop04이런식이 아닌 hadoop으로 경로를 맞춰주면 더 편하겠네요!
ex) 아래의 value부분의 서버에 맞게 경로를 맞춰줍니다.
<name>hadoop.tmp.dir</name>
<value>/home/hadoop02/hadooap/hadoop-data/
13) 마지막으로 .profile의 내용이 안먹히는 현상이 있다면 source .profile를 해줍니다.
java -version or hadoop 등 명령어 수행 해보신 뒤에 말이죠!^^;
14) 하둡 실행 전 해야할 일!
리눅스에서 실행 중인 방화벽 서비스를 종료해야 합니다. 하둡의 여러 데몬들은 특정 포트로 RPC또는 HTTP통신을 하게 됩니다. 방화벽은 기본적인 포트를 제외하고 대부분 포트를 차단하고 있기 때문에 하둡이 정상적으로 실행되지 않을 수 있습니다.
그래서 실행 중인 방화벽 서비스를 정지하고, 서버가 부팅할 때도 방화벽이 실행되지 않도록 chkconfig명령어를 실행해야 합니다. root권한으로 실행해야 합니다. 반드시!
(1) service iptables stop
ubuntu에서는 명령어가 조금 달랐다. 루트로 접속한 뒤에 ufw status는 상태를!(inactive : stop, active : ing)
ufw disable은 정지를! ufw enable은 시작을!
(참고 http://www.cyberciti.biz/faq/ubuntu-start-stop-iptables-service/ )
root@ubuntu:/home/hadoop01/hadoop# sudo ufw status - 방화벽 상태
Status: inactive
root@ubuntu:/home/hadoop01/hadoop# sudo ufw disable
Firewall stopped and disabled on system startup
(2) chkconfig iptables off
ubuntu는 이것 역시 달랐다!
찾아봤더니..sysv-rc-conf라는 것이 있었다.
(참고 : http://askubuntu.com/questions/221293/why-is-chkconfig-no-longer-available-in-ubuntu)
install : sudo apt-get install sysv-rc-conf
설치 후 sysv-rc-conf --list or sysv-rc-conf --list iptalbes 을 보면 현황을 알수있다.
sysv-rc-conf iptables off를 하면 off가 되어진다.
root@ubuntu:/home/hadoop01/hadoop# sysv-rc-conf iptables off
root@ubuntu:/home/hadoop01/hadoop# sysv-rc-conf --list iptables
iptables 2:off 3:off 4:off 5:off
15) 하둡 실행!(실행하기 빡세군요..ㄷㄷ)
루트에서 다시 원래의 계정으로 돌아오신 뒤에 /home/hadoop01/hadoop/hadoop-1.2.1/bin 의 hadoop을 실행시켜 보면 아래와 같은 정보를 볼 수 있습니다.
dakao01@ubuntu:~/hadoop-1.2.1/bin$ ./hadoop
Warning: $HADOOP_HOME is deprecated.
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -format format the DFS filesystem
secondarynamenode run the DFS secondary namenode
namenode run the DFS namenode
datanode run a DFS datanode
dfsadmin run a DFS admin client
mradmin run a Map-Reduce admin client
fsck run a DFS filesystem checking utility
fs run a generic filesystem user client
balancer run a cluster balancing utility
oiv apply the offline fsimage viewer to an fsimage
fetchdt fetch a delegation token from the NameNode
jobtracker run the MapReduce job Tracker node
pipes run a Pipes job
tasktracker run a MapReduce task Tracker node
historyserver run job history servers as a standalone daemon
job manipulate MapReduce jobs
queue get information regarding JobQueues
version print the version
jar <jar> run a jar file
distcp <srcurl> <desturl> copy file or directories recursively
distcp2 <srcurl> <desturl> DistCp version 2
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
classpath prints the class path needed to get the
Hadoop jar and the required libraries
daemonlog get/set the log level for each daemon
or
CLASSNAME run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
네임노드를 초기화 시키는 작업을 해보겠습니다.
./hadoop namenode -format
위의 오류는 확인해보니... </value>를 해주지 않았었네요ㅠㅠ
다시 수행해보겠습니다.
dakao01@ubuntu:~/hadoop-1.2.1/bin$ ./hadoop namenode -format
Warning: $HADOOP_HOME is deprecated.
14/09/04 21:41:39 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = ubuntu/127.0.1.1
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 1.2.1
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG: java = 1.7.0_67
************************************************************/
14/09/04 21:41:39 INFO util.GSet: Computing capacity for map BlocksMap
14/09/04 21:41:39 INFO util.GSet: VM type = 64-bit
14/09/04 21:41:39 INFO util.GSet: 2.0% max memory = 1013645312
14/09/04 21:41:39 INFO util.GSet: capacity = 2^21 = 2097152 entries
14/09/04 21:41:39 INFO util.GSet: recommended=2097152, actual=2097152
14/09/04 21:41:39 INFO namenode.FSNamesystem: fsOwner=dakao01
14/09/04 21:41:39 INFO namenode.FSNamesystem: supergroup=supergroup
14/09/04 21:41:39 INFO namenode.FSNamesystem: isPermissionEnabled=true
14/09/04 21:41:40 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
14/09/04 21:41:40 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
14/09/04 21:41:40 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
14/09/04 21:41:40 INFO namenode.NameNode: Caching file names occuring more than 10 times
14/09/04 21:41:40 INFO common.Storage: Image file /home/hadoop01/hadooap/hadoop-data/dfs/name/current/fsimage of size 113 bytes saved in 0 seconds.
14/09/04 21:41:40 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/home/hadoop01/hadooap/hadoop-data/dfs/name/current/edits
14/09/04 21:41:40 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/home/hadoop01/hadooap/hadoop-data/dfs/name/current/edits
14/09/04 21:41:40 INFO common.Storage: Storage directory /home/hadoop/hadooap/hadoop-data/dfs/name has been successfully formatted.
14/09/04 21:41:40 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1
************************************************************/
위에보시면 /home/hadoop/hadooap/hadoop-data/dfs/name has been successfully formatted.라고 나오시면 됩니다!
초기화 완료!
이제는 bin디렉토리에 있는 start-all.sh를 통해 하둡과 관련된 모든 데몬을 실행시켜 보겠습니다.
slaves 파일과 ssh 공개키 설정이 제대로 됐다면 데이터노드용 서버에서 데이터노드와 태스크트래커 데몬을 각각 실행 합니다.
매우 중요!!
error01) 계정과 홈디렉토리를 구분이 되게끔 하려고했으나..아래처럼..찾지 못하는 현상이 있으므로..계정과 홈디렉토리는 각 서버마다 맞춰줘야 합니다.!!
dakao@ubuntu:~/hadoop-1.2.1/bin$ ./start-all.sh
starting namenode, logging to /home/hadoop01/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-namenode-ubuntu.out
search-dn-hadoop02: bash: line 0: cd: /home/hadoop01/hadoop/hadoop-1.2.1/libexec/..: No such file or directory
search-dn-hadoop02: bash: /home/hadoop01/hadoop/hadoop-1.2.1/bin/hadoop-daemon.sh: No such file or directory
error02) java.io.IOException: Incomplete HDFS URI, no host: 네임노드, 데이터노드 안뜨는 현상!
/home/hadoop/hadoop/hadoop-1.2.1/conf 에서 core-site.xml 부분에...잘못 적었다!! -0-;;
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://search-nn-hadoop01:9000</value> - good hdfs:// 인데..hdfs:로 해놨었다..ㅠ.ㅠ..
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/hadoop-data/</value>
</property>
</configuration>
위와같이 올바르게 작성한 뒤 다시!!! hadoop namenode -format이라는 것을 통해 다시 빌드 시켜줘야한다!!!
결과
dakao@ubuntu:/home/hadoop/hadoop/hadoop-1.2.1/bin$ ./start-all.sh
Warning: $HADOOP_HOME is deprecated. <-- 요녀석이 안뜰려면 hadoop-env.sh 에서 export HADOOP_HOME_WARN_SUPPRESS="TRUE" 를 export해주면 된다.
starting namenode, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-namenode-ubuntu.out
search-dn-hadoop02: starting datanode, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-datanode-ubuntu.out
search-dn-hadoop03: starting datanode, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-datanode-ubuntu.out
search-dn-hadoop04: starting datanode, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-datanode-ubuntu.out
search-dn-hadoop02: starting secondarynamenode, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-secondarynamenode-ubuntu.out
jobtracker running as process 3927. Stop it first.
search-dn-hadoop04: starting tasktracker, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-tasktracker-ubuntu.out
search-dn-hadoop02: starting tasktracker, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-tasktracker-ubuntu.out
search-dn-hadoop03: starting tasktracker, logging to /home/hadoop/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-dakao-tasktracker-ubuntu.out
잘 떴나 확인!
- 네임노드 서버에서 jps명령어를 통해 NameNode와 JobTracker를 확인!
dakao@ubuntu:/home/hadoop/hadoop/hadoop-1.2.1/bin$ jps
7114 Jps
6824 NameNode
7004 JobTracker
- 데이터노드 서버에서 jps명령어를 통해 DataNode와 TaskTracker 등을 확인!
dakao@ubuntu:/home/hadoop/hadoop/hadoop-1.2.1/conf$ jps
7165 TaskTracker
6913 DataNode
7248 Jps
7038 SecondaryNameNode
- END -
'BigDATA > Hadoop' 카테고리의 다른 글
| 부록. 하둡설치(CDH)-클라우데라 배포판 (0) | 2014.10.07 |
|---|---|
| 04. 하둡 예제 실행 및 코딩해보기! (0) | 2014.09.15 |
| 03. 맵리듀스 시작하기 - 맵-리듀스 개념 (5) | 2014.09.01 |
| 02. About HDFS.. (0) | 2014.08.28 |
| 01. 하둡 소개 (0) | 2014.08.27 |