Ace-T's Blog 내 검색 [네이버 커넥트 이웃 합니다~^-^/ 요청 大 환영~~]

[하둡교육 3일차] Zookeeper

BigDATA/Hadoop 2013.06.05 10:26
[Good Comment!!, Good Discussion!!, Good Contens!!]
[ If you think that is useful, please click the finger on the bottom~^-^good~ ]
by ace-T



Zookeeper 필요성

하둡 이전에 이미 있었던 녀석이다.

특징

 1) in-Memory DB(file DB) : 메모리상에 모든걸 다 가지고 있음.(전원이 나가도 무관 - 디스크에 백업은 함, 전원을 키면 디스크에서 읽어들여 다시 메모리에 올림.)

 2) 분산 : 데이터 백업에 대해서 고민 하지 않아도 된다.

             서버 3대에 Zookeeper가 있다면, 분산으로 같은 데이터를 메모리, disk에 가지고 있다.

 

하둡이 왜 Zookeeper가 필요로 했나?

일반적인 분산 시스템 구조 : Master/Slave

Master가 죽으면 다 죽음. HDFS에서 Master가 메타데이터를 가지고 있고, Slave가 데이터를 가지고 있음.


성능을 고려 했을 때, 


(출처 : http://zookeeper.apache.org/doc/trunk/images/zkservice.jpg)


최근 HA방식(마스터 2개) - Active, Stand-By : Active에 부하 심함 

=> Active, Active 방식(데이터 동기화 문제 있음) => Leader/Follower 구조 (리더 권한은 서로 주고 받음)

ex) update시 Follower를 통해 Reader에 요청을 넘기고 Reader가 우선 자기 자신에 파일에 쓰고 나머지도 브로드 캐스팅 해줌. (메모리 저장), done 보고 , Reader가 commit


Zookeeper 데이터 모델

 - 디렉토리만 있음.(데이터를 가지는 디렉토리)

 - 임시노드(세션이 삭제되면 임시노드도 삭제)

 - 시퀀스 노드

 - 고속처리

    초당 : 5만번 변경, 20만번 읽기


Zookeeper API - 참고 : http://zookeeper.apache.org/doc/r3.4.1/api/

 - String create(..) 

 - void delete(..)

   등등


Zookeeper의 Watch 기능 

 클라이언트는 특정 znode에 Watch를 설정 -> znode 변경이 발생하면 클라이언트에게 알려 줌.

 노드 변경 시 Zookeeper가 알려 줌.(push 서비스라 생각하면 됨.)


Zookeeper는 최소 3대로 해야 좋다.

 

출처 : http://cfile7.uf.tistory.com/image/183AD14F4D40129D2C08C4










저작자 표시 비영리 변경 금지
신고

'BigDATA > Hadoop' 카테고리의 다른 글

03. 맵리듀스 시작하기 - 맵-리듀스 개념  (5) 2014.09.01
02. About HDFS..  (0) 2014.08.28
01. 하둡 소개  (0) 2014.08.27
[하둡교육 3일차] Pig  (0) 2013.06.05
[하둡교육 3일차] Zookeeper  (0) 2013.06.05
[하둡교육 2일차] Hadoop 설치  (0) 2013.06.04

acet 박태하가 추천하는 readtrend 추천글!

설정

트랙백

댓글

:::: facebook을 이용하시는 분들은 로그인 후 아래에 코멘트를 남겨주세요 ::::

티스토리 툴바