부록. 하둡설치(CDH)-클라우데라 배포판

2014. 10. 7. 16:36BigDATA/Hadoop

반응형

목표

 - 배포판인 클라우데라 매니저를 통해 하둡2.X 이상 버전 설치, HIVE, TAJO등 SQL ON HADOOP, JOOKEEPER 등 설치


1. 리눅스 설치 - 총 6대 설치

네임노드 1대, 보조네임노드 1대, 데이터노드 3대, etc 1대


ㅇㅅㅇ;;;; 회사에서 iaas가 지원이 되어서 로컬 pc가 아닌 iaas 로 갈아탔다!

로컬셋팅에서의 조금 다른점은 proxy서버를 사용했다는 것이다.


1) ssh설정과 host설정!

    참고  : 2014/09/11 - [BigDATA/Hadoop] - 부록. 하둡 설치


2) proxy설정!(/etc/wgetrc, /etc/yum.conf)

vi /etc/wgetrc

http_proxy = http://ip address:port

ftp_proxy = http://ip address:port


vi /etc/yum.conf

proxy = http://ip address:port


물론 proxy 서버에도 타켓 서버 ip를 넣어줘야한다.

$ vi /daum/program/apache/conf/httpd.conf
.....
<VirtualHost *:9100>
    ServerName 아이피 입니다.
 
    ...
    Allow from ( 여기에 IP 추가 )
    </Proxy>



3) wget으로 클라우데라 인스톨러 가져오기! 

아래는 cdh4 입니다. http://archive.cloudera.com/cm5 로 접근해서 가져오시면 됩니다.

wget http://archive.cloudera.com/cm4/installer/latest/cloudera-manager-installer.bin

$ su
$ chmod +x cloudera-manager-installer.bin

$ ./cloudera-manager-installer.bin 


2. 하둡 설치

잘 따라하시면 됩니다..ㅋㅋ;;;


3. 클러스터 설정 및 노드 설정!(클라우데라 매니저)




참고사항으로 일단 저는 이미 서버2대는 관리가 되어있어서 위처럼 3개만이 진행되었습니다.


결과


아래처럼 서비스를 추가 한다.





반응형

'BigDATA > Hadoop' 카테고리의 다른 글

사용자 정의 옵션(Tool, ToolRunner)  (0) 2014.12.08
What is MapReduce??  (0) 2014.12.02
04. 하둡 예제 실행 및 코딩해보기!  (0) 2014.09.15
부록. 하둡 설치  (0) 2014.09.11
03. 맵리듀스 시작하기 - 맵-리듀스 개념  (5) 2014.09.01