Ace-T's Blog 내 검색 [네이버 커넥트 이웃 합니다~^-^/ 요청 大 환영~~]

부록. 하둡설치(CDH)-클라우데라 배포판

BigDATA/Hadoop 2014.10.07 16:36
[Good Comment!!, Good Discussion!!, Good Contens!!]
[ If you think that is useful, please click the finger on the bottom~^-^good~ ]
by ace-T

목표

 - 배포판인 클라우데라 매니저를 통해 하둡2.X 이상 버전 설치, HIVE, TAJO등 SQL ON HADOOP, JOOKEEPER 등 설치


1. 리눅스 설치 - 총 6대 설치

네임노드 1대, 보조네임노드 1대, 데이터노드 3대, etc 1대


ㅇㅅㅇ;;;; 회사에서 iaas가 지원이 되어서 로컬 pc가 아닌 iaas 로 갈아탔다!

로컬셋팅에서의 조금 다른점은 proxy서버를 사용했다는 것이다.


1) ssh설정과 host설정!

    참고  : 2014/09/11 - [BigDATA/Hadoop] - 부록. 하둡 설치


2) proxy설정!(/etc/wgetrc, /etc/yum.conf)

vi /etc/wgetrc

http_proxy = http://ip address:port

ftp_proxy = http://ip address:port


vi /etc/yum.conf

proxy = http://ip address:port


물론 proxy 서버에도 타켓 서버 ip를 넣어줘야한다.

$ vi /daum/program/apache/conf/httpd.conf
.....
<VirtualHost *:9100>
    ServerName 아이피 입니다.
 
    ...
    Allow from ( 여기에 IP 추가 )
    </Proxy>



3) wget으로 클라우데라 인스톨러 가져오기! 

아래는 cdh4 입니다. http://archive.cloudera.com/cm5 로 접근해서 가져오시면 됩니다.

wget http://archive.cloudera.com/cm4/installer/latest/cloudera-manager-installer.bin

$ su
$ chmod +x cloudera-manager-installer.bin

$ ./cloudera-manager-installer.bin 


2. 하둡 설치

잘 따라하시면 됩니다..ㅋㅋ;;;


3. 클러스터 설정 및 노드 설정!(클라우데라 매니저)




참고사항으로 일단 저는 이미 서버2대는 관리가 되어있어서 위처럼 3개만이 진행되었습니다.


결과


아래처럼 서비스를 추가 한다.





저작자 표시 비영리 변경 금지
신고

acet 박태하가 추천하는 readtrend 추천글!

설정

트랙백

댓글

:::: facebook을 이용하시는 분들은 로그인 후 아래에 코멘트를 남겨주세요 ::::

티스토리 툴바