부록. 하둡설치(CDH)-클라우데라 배포판

BigDATA/Hadoop

태하팍 2014. 10. 7. 16:36

목표

- 배포판인 클라우데라 매니저를 통해 하둡2.X 이상 버전 설치, HIVE, TAJO등 SQL ON HADOOP, JOOKEEPER 등 설치

1. 리눅스 설치 - 총 6대 설치

네임노드 1대, 보조네임노드 1대, 데이터노드 3대, etc 1대

ㅇㅅㅇ;;;; 회사에서 iaas가 지원이 되어서 로컬 pc가 아닌 iaas 로 갈아탔다!

로컬셋팅에서의 조금 다른점은 proxy서버를 사용했다는 것이다.

1) ssh설정과 host설정!

2) proxy설정!(/etc/wgetrc, /etc/yum.conf)

vi /etc/wgetrc

http_proxy = http://ip address:port

ftp_proxy = http://ip address:port

vi /etc/yum.conf

proxy = http://ip address:port

물론 proxy 서버에도 타켓 서버 ip를 넣어줘야한다.

$ vi /daum/program/apache/conf/httpd.conf

.....

<VirtualHost *:9100>

    ServerName 아이피 입니다.

...

    Allow from ( 여기에 IP 추가 )

    </Proxy>

3) wget으로 클라우데라 인스톨러 가져오기!

아래는 cdh4 입니다. http://archive.cloudera.com/cm5 로 접근해서 가져오시면 됩니다.

wget http://archive.cloudera.com/cm4/installer/latest/cloudera-manager-installer.bin

$ su

$ chmod +x cloudera-manager-installer.bin

$ ./cloudera-manager-installer.bin

2. 하둡 설치

잘 따라하시면 됩니다..ㅋㅋ;;;

3. 클러스터 설정 및 노드 설정!(클라우데라 매니저)

참고사항으로 일단 저는 이미 서버2대는 관리가 되어있어서 위처럼 3개만이 진행되었습니다.

결과

아래처럼 서비스를 추가 한다.