Ace-T's Blog 내 검색 [네이버 커넥트 이웃 합니다~^-^/ 요청 大 환영~~]

부록. 하둡설치(CDH)-클라우데라 배포판

BigDATA/Hadoop 2014.10.07 16:36
[Good Comment!!, Good Discussion!!, Good Contens!!]
[ If you think that is useful, please click the finger on the bottom~^-^good~ ]
by ace-T

목표

 - 배포판인 클라우데라 매니저를 통해 하둡2.X 이상 버전 설치, HIVE, TAJO등 SQL ON HADOOP, JOOKEEPER 등 설치


1. 리눅스 설치 - 총 6대 설치

네임노드 1대, 보조네임노드 1대, 데이터노드 3대, etc 1대


ㅇㅅㅇ;;;; 회사에서 iaas가 지원이 되어서 로컬 pc가 아닌 iaas 로 갈아탔다!

로컬셋팅에서의 조금 다른점은 proxy서버를 사용했다는 것이다.


1) ssh설정과 host설정!

    참고  : 2014/09/11 - [BigDATA/Hadoop] - 부록. 하둡 설치


2) proxy설정!(/etc/wgetrc, /etc/yum.conf)

vi /etc/wgetrc

http_proxy = http://ip address:port

ftp_proxy = http://ip address:port


vi /etc/yum.conf

proxy = http://ip address:port


물론 proxy 서버에도 타켓 서버 ip를 넣어줘야한다.

$ vi /daum/program/apache/conf/httpd.conf
.....
<VirtualHost *:9100>
    ServerName 아이피 입니다.
 
    ...
    Allow from ( 여기에 IP 추가 )
    </Proxy>



3) wget으로 클라우데라 인스톨러 가져오기! 

아래는 cdh4 입니다. http://archive.cloudera.com/cm5 로 접근해서 가져오시면 됩니다.

wget http://archive.cloudera.com/cm4/installer/latest/cloudera-manager-installer.bin

$ su
$ chmod +x cloudera-manager-installer.bin

$ ./cloudera-manager-installer.bin 


2. 하둡 설치

잘 따라하시면 됩니다..ㅋㅋ;;;


3. 클러스터 설정 및 노드 설정!(클라우데라 매니저)




참고사항으로 일단 저는 이미 서버2대는 관리가 되어있어서 위처럼 3개만이 진행되었습니다.


결과


아래처럼 서비스를 추가 한다.





acet 박태하가 추천하는 readtrend 추천글!

설정

트랙백

댓글

:::: facebook을 이용하시는 분들은 로그인 후 아래에 코멘트를 남겨주세요 ::::

티스토리 툴바