본문 바로가기
반응형

전체 글726

좋은 링크 모바일 관련http://troy.labs.daum.net/ 아이디어가 필요한가요?http://idea.crevate.com/ my githubhttps://github.com/acetaeha 마튼파울러 횽님 https://martinfowler.com/eaaCatalog/ about mvc patternhttp://www.kiet.edu/KIETIJICI/Vol1issue1/6.pdf 2015. 2. 4.
(info) vagrant commands 내역1. 로컬에서 하둡을 간단히 돌려서 프로그래밍을할 수 있는 환경을 만들고 싶음.2. vagrant로 단일 하둡 셋팅 함.3. 우분투 관련 오류 발생 함. 오류recommended that you fix the library with 'execstack -c ', or link it with '-z noexecstack'. http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/ vagrant 명령어Usage: vagrant [options] [] -v, --version Print the version and exit. -h, --help Print this help. Common commands:.. 2015. 2. 4.
[꿀팁] 하둡 inputPath로 다중 File 작업하기 [그림 - 1 : 안구정화용~~] // 참고 소스~~ // 아래처럼 path 들을 list에 넣어준다.List inputPath = new ArrayList(); inputPath.add(otherArgs[0]+"/01_acet.clicklog_mo"); inputPath.add(otherArgs[0]+"/02_acet.clicklog_mo"); // 입출력 데이터 경로 설정 //FileInputFormat.addInputPath(job, new Path(otherArgs[0]));for(String input : inputPath){ // list에 담겨져있는 path들을 하나씩 넣어준다. FileInputFormat.addInputPath(job, new Path(input)); } 나의 의문은 현재.. 2015. 2. 4.
[Hadoop] 하둡 맵-리듀스 따라잡기 맵-리듀스! 이녀석을 알아가기 위해 정리를 하나씩 해보려고 한다. 가장 쉬우면서도 어려운 맵-리듀스 소스 짜보기! 1. Maven 설정 org.apache.hadoop hadoop-core 1.2.1 junit junit 4.11 2. runner : runner는 우선 map, reduce, data format등 그리고 run을 통해 시작 시킬수 있는 친구라고 생각하고 넘어가자. 아래의 소스는 가장 단순한 형태 이다. 보통 책에 나오거나 튜토리얼에 나오는 소스 형태! 중요한 것은 runner보다 map과reduce!public class MoClickDistributionChartRunner extends Configured implements Tool { public MoClickDistributi.. 2015. 2. 2.
젠킨스 빌드 오류 빌드 시에 아래와같이 PermGen space오류가 났습니다. ㄷ ㄷ ㄷ 톰캣에서 바꿔줘야하네요! 2015. 1. 16.
about svn:externals svn에서 svn:externals라는 것이 있다 svn:merge등 다양하다! svn:externals는 편집하여 체크아웃이나 업데이트 받을 때 외부 모듈을 함께 받는 것이다. IDE마다 다르지만..인텔리J에서는 아래와 깉이 설정 및 확인을할 수 있다. 설정을 바꾼 뒤에는 커밋을 해주어야 반영이 된다. 이클립스만 쓰다가 인텔리J를 사용하니..엄청 어리버리까고 있다..ㅠ_ㅠ 쿨럭~ 커밋도 안치고 반영된줄..ㄷㄷ 암튼 어리버리까지말고 똑똑해지자~~~ 끝. 2015. 1. 15.
Jenkins Setting 1) Jenkins 설치Jenkins는 http://jenkins-ci.org/ 에 가서 다운!가장 최신으로 다운로드 함! 톰캣 다운로드 및 jenkins war 넣어주기!톰캣 8은 자동으로 안풀렸다..war가..ㄷㄷ 그래서 7로 다운해서 셋팅!참고 : 83번 게시물 결과는 아래! - 끝 - 2015. 1. 15.
메이븐 install 시에 테스트 건너뛰기 명령어 위처럼 -Dmaven.test.skip=true를 추가해주면 된다.또는 아래처럼 maven에 추가 해주면 된다. true 2015. 1. 14.
unicode 문제 해결(\u003d 등) \u003d 의 문제 발생..;; 찾아보니 Gson으로 Json을 가지고 놀다가도 발생할 수 있으며, http로 가져와서 String에 담아줄 때도 발생할 수 있다. 1. http로 가져와서 String에 담았는데 유니코드가 박혀있을 때!jsonData = StringEscapeUtils.unescapeJava(jsonData);2. Gson을 사용했는데 유니코드가 박혀있을 때!// Gson gson = new Gson(); 말고 아래처럼 disableHtmlEscaping() 사용! Gson gson = new GsonBuilder().disableHtmlEscaping().create(); String noEscapeStr = gson.toJson(queryCodeList).toString(); 다른.. 2015. 1. 12.
하둡 configuration으로 객체 넘기기! 음....하둡 MR작업 중...configuration에서 객체를 넘겨주고 싶어서 아래와 같이 인터페이스(QueryCodeList)와 구현체(QueryCodeListImpl)을 만든 뒤setClass를 해주었다..conf.setClass("queryCodeList", QueryCodeListImpl.class, QueryCodeList.class);아래처럼 setClass시에 잘 생성 된 것을 알수가 있다. 그런 뒤 getClass를 통해 해당 객체를 가져오려고 하는데...잘안된다 ㅋㅋㅋㅋㅋ 널포인트 예외..ㄷㄷㄷ new 연산자를 통해 생성한 뒤에는 getClass로 가져올 수가 있었지만 아무 의미 없다~ 내가 하고자하는 것은 객체에 이미 데이터가 들어가 있는 상태이기 때문이다.어떻게 해서 객체를 전달할.. 2015. 1. 12.
Hadoop runner수행시 lib 못찾는 현상(IntelliJ 12 사용!) 아...설상가상으로...인텔리제이를 사용하고 있는데...아래처럼 maven에 설정되어있는 녀석을 못찾아오는 현상이 있었다..ㅜ.ㅜ.. 환경 : 인텔리J 12 1) 로컬에서 runner를 수행 하였다. 그런데!!mapper쪽에서 오류가 났다.오류내용 : ERROR="Error: java\.lang\.ClassNotFoundException: org\.json\.simple\.JSONValue ~ 해결은...아래와 같이 빌드 > 빌드 아티팩트즈... 를 통해서 빌드를 한다. 아래와 같이 Artifacts에 json.simple이 있다는 것을 알수가 있다. Add lib 를 통해서 add시킨다. command + ; 를 통해 Project Settings를 open한 뒤 아래와 같이 Moudles에 Artif.. 2015. 1. 4.
사용자 정의 옵션(Tool, ToolRunner) 하둡은맵리듀스 프로그램 개발을 편리하게 할수 있도록 다양한 helper class를 제공.ex) org.apache.hadoop.util package에 구현돼 있음. import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; 맵-리듀스 잡을 실행하면 잡 객체는 사용자가 설정한 Configuration객체를 이용해 org.apache.hadoop.mapred.JobConf 객체를 생성. JobConf는 하둡의 환경설정 파일과 하둡 명령어에서 입력한 파라미터를 참조해 모든 태스크에 이 정보를 제공. 분석 데이터의 종류에 따라 하둡 환경설정 정보와 다른 값을 사용해야 하는 경우가 있을 것입니다. 이런 불편함을 줄이기 위해 Gen.. 2014. 12. 8.
What is MapReduce?? [wiki]맵리듀스(MapReduce)는 구글에서 대용량 데이터 처리를 분산 병렬 컴퓨팅에서 처리하기 위한 목적으로 제작하여 2004년 발표한 소프트웨어 프레임워크다.[1] 이 프레임워크는 페타바이트 이상의 대용량 데이터를 신뢰도가 낮은 컴퓨터로 구성된 클러스터 환경에서 병렬 처리를 지원하기 위해서 개발되었다. 이 프레임워크는 함수형 프로그래밍에서 일반적으로 사용되는 Map과Reduce라는 함수 기반으로 주로 구성된다.[2]현재 MapReduce는 Java와 C++, 그리고 기타 언어에서 적용이 가능하도록 작성되었다. 대표적으로 아파치 하둡에서 오픈 소스 소프트웨어로 적용된다.출처 : http://ko.wikipedia.org/wiki/%EB%A7%B5%EB%A6%AC%EB%93%80%EC%8A%A4 [.. 2014. 12. 2.
층화추출법 층화추출법 통계학에서, 층화추출법(層化抽出法, Stratified sampling)은 모집단을 먼저 중복되지 않도록 층으로 나눈 다음 각 층에서 표본을 추출하는 방법이다. 참고 : http://ko.wikipedia.org/wiki/%EC%B8%B5%ED%99%94%EC%B6%94%EC%B6%9C%EB%B2%95 2014. 11. 26.
Redis 사용하기 Redis 자바 연동 ㄴ jedis라는 라이브러리가 있음. Maven을 사용한다면! 참고 redis.clients jedis 2.6.0 jar compile org.springframework.data spring-data-redis 1.4.0.RELEASE Jedis api : http://javadox.com/redis.clients/jedis/2.6.0/redis/clients/jedis/Jedis.html 몇몇을 살펴보자! ^-^selectpublic String select(int index)Select the DB with having the specified zero-based numeric index. For default every new client connection is automa.. 2014. 11. 10.
learn angularJS 이 페이지에서 학습을할 것은?! angularjs를 하기 위해 기본적인 지식들 정리! ㅎㅎ 공식 사이트 : https://www.angularjs.org/배우기 위한 사이트 : https://thinkster.io/angulartutorial/a-better-way-to-learn-angularjs/ ㄴ angularJS binding 동영상 : 음...ng-model의 유용함을 보여주는?! : https://thinkster.io/egghead/binding/ ㄴ 기본 컨셉을 알려줌! : https://code.angularjs.org/1.2.26/docs/guide/concepts 가이드 페이지 : https://docs.angularjs.org/guide/ 모듈?? 우선 모듈?? 모듈이 무엇인지 살.. 2014. 11. 6.
angular, bower, karma, grunt, yo? 업무를 하면서 정리를 하지 않으니 그냥 대충 알고 가는것 같다.천천히 제대로 따라가자! 아래는 이번 웹프로젝트에 참여하면서 사용할 친구들이다.단, node.js가 먼저 셋팅되어있어야 한다.(npm 등)localhost:~ terrypark$ npm list --global -depth=0 /usr/local/lib ├── bower@1.3.12 ├── generator-angular@0.9.8 ├── generator-karma@0.8.3 ├── grunt-cli@0.1.13 ├── npm@1.4.28 └── yo@1.3.0 생소한 것들이 많다. angular, bower, karma, grunt, yo?하나씩 알아가보자!참고 url : https://www.youtube.com/watch?v=QfWmt.. 2014. 10. 15.
부록. 하둡설치(CDH)-클라우데라 배포판 목표 - 배포판인 클라우데라 매니저를 통해 하둡2.X 이상 버전 설치, HIVE, TAJO등 SQL ON HADOOP, JOOKEEPER 등 설치 1. 리눅스 설치 - 총 6대 설치 네임노드 1대, 보조네임노드 1대, 데이터노드 3대, etc 1대 ㅇㅅㅇ;;;; 회사에서 iaas가 지원이 되어서 로컬 pc가 아닌 iaas 로 갈아탔다!로컬셋팅에서의 조금 다른점은 proxy서버를 사용했다는 것이다. 1) ssh설정과 host설정! 참고 : 2014/09/11 - [BigDATA/Hadoop] - 부록. 하둡 설치 2) proxy설정!(/etc/wgetrc, /etc/yum.conf)vi /etc/wgetrchttp_proxy = http://ip address:portftp_proxy = http://ip.. 2014. 10. 7.
Tajo Setting(0.2.0-incubating) 동기 : SQL-on-Hadoop을 고민하던 차에 아래의 사이트에서 흥미를 얻었습니다.http://blrunner.com/71 환경 :OS : ubuntu서버 총 4대 ㄴ 네임노드 1대, 데이터 노드 3대 타조 0.2.0셋팅 시.. 아래처럼 먼저 제대로 파악하고 했어야했는데..덕분에 확실하게 삽질해버렸네요..ㅋㅜ.ㅜㅋHadoop 2.0.3-alpha or 2.0.5-alphaJava 1.6 or higherProtocol buffer 2.4.10.8.0은 아래와 같습니다~:DHadoop 2.2.0 or higherJava 1.6 or higherProtocol buffer 2.5.0 다운로드 :Tajo 0.2.0을 셋팅하기 위해서는...아래의 링크에서 다운을 받으시면 됩니다.http://archive.a.. 2014. 9. 22.
github 오류 - Permission denied (publickey) 상황설명 이클립스에서 하둡소스를 코딩하고 github에 명령어로 소스를 올려보려고 하였다..하지만 문제에 봉착!! 오류는 아래와 같았다. 오류내역 $ git push -u hadoopOrigin masterPermission denied (publickey). fatal: Could not read from remote repository. 해결방법 1) 아래의 사이트에서 확인해보니 ssh문제였다.. https://help.github.com/articles/error-permission-denied-publickey 2) ssh를 생성해자~ssh-keygen~! gogo~! ssh-keygen -t rsa -C "git login id(e-mail address)" ssh-keygen -t rsa -C.. 2014. 9. 17.
04. 하둡 예제 실행 및 코딩해보기! 1. 예제 실행 저번 시간에는 2014/09/11 - [BigDATA/Hadoop] - 부록. 하둡 설치 을 해보았습니다. 우선! 하둡에서 제공되어지는 예제코드와 예제 코드를 패키징한 jar를 수행 해보겠습니다. 1) 예제를 실행하기 전에 우선 다음과 같이 hadoop-env.sh 파일을 HDFS에 업로드 합니다. 그냥 따라해봅시다~ dakao@ubuntu:/home/hadoop/hadoop/hadoop-1.2.1$ ./bin/hadoop fs -put conf/hadoop-env.sh conf/hadoop-env.sh fs 명령어를 아직은 잘은 모르지만 한번 해봅시다~ dakao@ubuntu:/home/hadoop/hadoop/hadoop-1.2.1$ ./bin/hadoop fs -lsr conf/ -.. 2014. 9. 15.
반응형

티스토리툴바