본문 바로가기
BigDATA/Tajo

Tajo Setting(0.2.0-incubating)

by 태하팍 2014. 9. 22.
반응형




동기 : 

SQL-on-Hadoop을 고민하던 차에 아래의 사이트에서 흥미를 얻었습니다.

http://blrunner.com/71


환경 :

OS : ubuntu

서버 총 4대 

  ㄴ 네임노드 1대, 데이터 노드 3대


타조 0.2.0셋팅 시.. 아래처럼 먼저 제대로 파악하고 했어야했는데..덕분에 확실하게 삽질해버렸네요..ㅋㅜ.ㅜㅋ

  • Hadoop 2.0.3-alpha or 2.0.5-alpha
  • Java 1.6 or higher
  • Protocol buffer 2.4.1

0.8.0은 아래와 같습니다~:D

  • Hadoop 2.2.0 or higher
  • Java 1.6 or higher
  • Protocol buffer 2.5.0


다운로드 :

Tajo 0.2.0을 셋팅하기 위해서는...아래의 링크에서 다운을 받으시면 됩니다.

http://archive.apache.org/dist/tajo/tajo-0.2.0-incubating/


배포 :

받으신 파일을 특정 서버에 올리신 뒤 scp명령어로 각 서버에 배포 합니다.

scp tajo-0.2.0-incubating-src.tar.gz dakao@search-dn-hadoop04:/home/hadoop/hadoop/install/


압축해제 :

$ tar xvfz tajo-0.2.0-incubating-src.tar.gz



Build  :


압축해제를 한 뒤에 나온 소스코드를 빌드시켜보자! 라고 했는데 maven project 이다~~ㅠ ㅠ 


maven 다운! : http://maven.apache.org/download.cgi


.profile에 추가

export MAVEN_HOME=/home/hadoop/hadoop/apache-maven-3.2.3

export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin:$MAVEN_HOME/bin

source .profile 로 적용!


잘 깔렸나 확인!

$ mvn -version

Apache Maven 3.2.3 (33f8c3e1027c3ddde99d3cdebad2656a31e8fdf4; 2014-08-11T13:58:10-07:00)

Maven home: /home/hadoop/hadoop/apache-maven-3.2.3

Java version: 1.7.0_67, vendor: Oracle Corporation

Java home: /home/hadoop/hadoop/jdk1.7.0_67/jre

Default locale: en_US, platform encoding: UTF-8

OS name: "linux", version: "3.13.0-32-generic", arch: "amd64", family: "unix"


이제! 진짜 빌드시켜보자! ㅎㅎㅎ

우선, /home/hadoop/hadoop/tajo-0.2.0-incubating 로 이동!


참고) /home/hadoop/hadoop/tajo-0.2.0-incubating/BUILDING.txt 의 내용이다.

Maven build goals:


 * Clean                      : mvn clean

 * Compile                   : mvn compile

 * Run tests                 : mvn test

 * Run integrating tests     : mvn verify

 * Create JAR                : mvn package

 * Run findbugs             : mvn compile findbugs:findbugs

 * Install JAR in M2 cache   : mvn install

 * Build distribution        : mvn package [-Pdist][-Dtar]


명령어 수행!

mvn clean package -DskipTests -Pdist -Dtar


error

[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.2:exec (generate-sources) on project tajo-common: Command execution failed. Cannot run program "protoc" (in directory "/home/hadoop/hadoop/tajo-0.2.0-incubating/tajo-common"): error=2, No such file or directory -> [Help 1]

[ERROR] 

[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.

[ERROR] Re-run Maven using the -X switch to enable full debug logging.

[ERROR] 

[ERROR] For more information about the errors and possible solutions, please read the following articles:

[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException

[ERROR] 

[ERROR] After correcting the problems, you can resume the build with the command

[ERROR]   mvn <goals> -rf :tajo-common 


http://stackoverflow.com/questions/22620300/protocol-buffers-compiler-maven-plugin



Your protoc executable could not be executed on linux



위의 오류가나서..아래의 사이트를 통해 셋팅해주었다!!

http://www.confusedcoders.com/random/how-to-install-protocol-buffer-2-5-0-on-ubuntu-13-04

셋팅 후 확인

protoc --version

libprotoc 2.5.0


다시 빌드 시도!!

역시나 오류..ㅠㅠ..


protoc 2.5.0 하고는 궁합이 맞질 않는 것 같다..


protoc 2.4.0으로 셋팅하려는데..문제가 발생하였다.


error

“Oracle JDK 7 Is NOT installed” error

http://askubuntu.com/questions/414885/oracle-jdk-7-is-not-installed-error


위의 사이트를 참고하여 해결!

........

update-alternatives: using /usr/lib/jvm/java-7-oracle/bin/wsimport to provide /usr/bin/wsimport (wsimport) in auto mode

update-alternatives: using /usr/lib/jvm/java-7-oracle/bin/xjc to provide /usr/bin/xjc (xjc) in auto mode

Oracle JDK 7 installed

update-alternatives: using /usr/lib/jvm/java-7-oracle/jre/lib/amd64/libnpjp2.so to provide /usr/lib/mozilla/plugins/libjavaplugin.so (mozilla-javaplugin.so) in auto mode

Oracle JRE 7 browser plugin installed


다시 protoc 2.4.0을 셋팅 해보겠다!

참고 : https://pixhawk.ethz.ch/installation/ubuntu

Google Protocol Buffers

We're also using Google Protocol Buffers for message serialization. The following commands will install protobuf-2.4.1 that is needed for some processes.

wget http://protobuf.googlecode.com/files/protobuf-2.4.1.tar.gz
tar xvfz protobuf-2.4.1.tar.gz
cd protobuf-2.4.1
./configure
make
sudo make install  


dakao@ubuntu:/home/hadoop/hadoop/protobuf-2.4.1$ protoc --version

libprotoc 2.4.1


다시 빌드 시도!![참고 사이트 : http://tajo.apache.org/docs/0.8.0/getting_started/building.html ]

$ cd tajo-x.y.z
$ mvn clean package -DskipTests -Pdist -Dtar
$ ls tajo-dist/target/tajo-x.y.z-SNAPSHOT.tar.gz


[결과] ㅠ_ㅠ 드디어 성공이네요!!


........................

[INFO] Executed tasks

[INFO] ------------------------------------------------------------------------

[INFO] Reactor Summary:

[INFO] 

[INFO] Tajo Main ......................................... SUCCESS [0.971s]

[INFO] Tajo Project POM .................................. SUCCESS [1.851s]

[INFO] Tajo Common ....................................... SUCCESS [30.317s]

[INFO] Tajo Algebra ...................................... SUCCESS [22.320s]

[INFO] Tajo Rpc .......................................... SUCCESS [12.125s]

[INFO] Tajo Catalog Common ............................... SUCCESS [11.075s]

[INFO] Tajo Catalog Client ............................... SUCCESS [0.515s]

[INFO] Tajo Catalog Server ............................... SUCCESS [1.247s]

[INFO] Tajo Core Storage ................................. SUCCESS [1:22.182s]

[INFO] Tajo Core PullServer .............................. SUCCESS [0.732s]

[INFO] Tajo Core Backend ................................. SUCCESS [1:30.781s]

[INFO] Tajo Core ......................................... SUCCESS [0.572s]

[INFO] Tajo Catalog ...................................... SUCCESS [0.688s]

[INFO] Tajo Distribution ................................. SUCCESS [3.251s]

[INFO] ------------------------------------------------------------------------

[INFO] BUILD SUCCESS

[INFO] ------------------------------------------------------------------------

[INFO] Total time: 4:20.107s

[INFO] Finished at: Mon Sep 08 06:07:03 PDT 2014

[INFO] Final Memory: 51M/205M

[INFO] ------------------------------------------------------------------------ 


# 빌드 후 나온 스냅샷 압축 해제

그리고 build후 생긴 tajo-dist/target/tajo-0.2.0-incubating.tar.gz 압축을 해제한다.  

$ tar xvfz ./tajo-dist/target/tajo-0.2.0-incubating.tar.gz  로 압축을 해제한다.


# 타조 클러스터 

 http://tajo.apache.org/docs/0.8.0/configuration/preliminary.html


하하하하하하하....멘붕이네요 하둡 2.x version부터 지원을 하는군요! ㅎㅎㅎㅎ 

우선 하둡 2.x를 셋팅하도록 해야겠네요..ㅎㅎ 타조 클러스터는 그 후에 포스팅 하도록 하겠습니다^-^;

앞으로는 더 자세히 알아보고 덤벼야겠다는 생각을 했습니다..ㅠ.ㅠ..

그리고 Chef나 Docker같은 친구들과 친해져야겠다는 생각이 들었네요..


참고 사이트 :

http://tajo.apache.org/
https://blogs.apache.org/tajo/entry/apache_tajo_0_2_0

http://ko.wikipedia.org/wiki/%EB%8C%80%EC%88%98%ED%95%99

http://blrunner.com/67

http://ubuntuforums.org/showthread.php?t=1968712


- END -


반응형
저작자표시 비영리 변경금지

티스토리툴바