BigDATA(47)
-
R을 배워보자~
R은 데이터사이언티스트가 분석을 하기 위한 도구이다. 특히, 시각화를 할 수 있는데(히스토그램 등) 이것은 분석을 돕기 위한 툴일 뿐이고 시각화를 전문적으로 하는 모듈은 아니라는거~! 셋팅 1) 아래에서 먼저 셋팅을 한 뒤 http://cran.nexr.com/ 2) R Studio를 셋팅 하자(UI 제공) http://www.rstudio.com/ide/download/desktop 참고 사이트 : http://madlib.net/ Ctrl+ l => R Studio Console 창 clean ex)> library("rgl", lib.loc="C:/Program Files/R/R-3.0.2/library") > library(rgl) > x = rnorm(10) > y = rnorm(10,2) > ..
2013.11.13 -
[하둡교육 3일차] Pig
Pig set up 1) [root@localhost root]# wget http://www.dazum.net/hadoop/pig-0.10.0.tar.gz : 소스를 가져온다 2) [root@localhost root]# tar xvf pig-0.10.0.tar.gz : 압축을 푼다3) [root@localhost root]# ln -s pig-0.10.0 pig : 심볼릭 링크 걸어준다 버전 관리를 위해)4) [root@localhost root]# vi /etc/profile : 환경 셋팅을 해준다. root 기준임. export PIG_HOME=/home/root/pig export PIG_CLASSPATH=$HADOOP_HOME/conf pathmunge /home/root/pig/bin [ro..
2013.06.05 -
[하둡교육 3일차] Zookeeper
Zookeeper 필요성하둡 이전에 이미 있었던 녀석이다.특징 1) in-Memory DB(file DB) : 메모리상에 모든걸 다 가지고 있음.(전원이 나가도 무관 - 디스크에 백업은 함, 전원을 키면 디스크에서 읽어들여 다시 메모리에 올림.) 2) 분산 : 데이터 백업에 대해서 고민 하지 않아도 된다. 서버 3대에 Zookeeper가 있다면, 분산으로 같은 데이터를 메모리, disk에 가지고 있다. 하둡이 왜 Zookeeper가 필요로 했나?일반적인 분산 시스템 구조 : Master/SlaveMaster가 죽으면 다 죽음. HDFS에서 Master가 메타데이터를 가지고 있고, Slave가 데이터를 가지고 있음. 성능을 고려 했을 때, (출처 : http://zookeeper.apache.org/doc..
2013.06.05 -
[하둡교육 2일차] Hadoop 설치
하둡을 설치 하기 위해 교육은 오라클 버추얼 박스로 진행 하였다.아쉽게 전체적인 셋팅을 소개 할 수는 없을 것 같다. 강사님이 미리 준비해오고 셋팅 다해오셨다 ㅋㅋ;; 1. JDK 설치 OpenJdk는 하둡에서 오류가 난다고 한다. 오라클 sun jdk를 셋팅 하도록 하자. 2. JAVA_HOME 설정 보통 일반 계정이라면 .bash_profile에 셋팅을 해주지만 이번 교육에서는 root로 잡아줬기 때문에 /etc/profile에서 PATH를 잡아주었다. 3. 하둡 복사 및 설치 하둡..이것 또한 미리 가져와있다 ㅋㅋ; hadoop-1.0.4-bin.tar.gz이라는 파일!! tar xvf hadoop-1.0.4-bin.tar.gz 로 압축을 해제 해준다. 자주 쓰는 하둡 명령어 confirm daem..
2013.06.04 -
[NoSQL] CAP Theorem
처음엔..NoSQL이 데이터를 처리 할 때 쓰이는 스크립트 언어인줄 알았다.. 그래서 학습을 하다보니 NoSQL을 하기 선지식으로 CAP이론을 언급하고 있었다. 그래서 찾다보니...CAP가..정말 다양하게...@.@.... ex) 예제 1 C(Consistency) : 모든 노드가 같은 시간에 같은 데이터를 보여줘야 한다. A(Availability) : 몇몇 노드 다운이 다른 정상 노드들이 작동하는데 악영향을 끼치지 말아야 한다. P(Partition Tolerance) : 몇몇 메시지 손실에도 시스템은 정상 동작을 해야 한다. ex) 예제 2 Consistency (일관성) : 모든 노드들은 동시에 같은 데이터를 보아야 합니다. Availability (유효성) : 모든 노드는 항상 읽기와 쓰기를 할..
2012.11.28