본문 바로가기
반응형

전체 글726

부록. 하둡 설치 하둡을 설치하기전에 해야할 일! 바로 리눅스 설치.... 사실 하둡보다 리눅스 설치가 더 힘들었다.. setting~~ result : 환 경 : 맥북 프로 - Parallels setting OS - Ubuntu 14.04.1-server-amd64.iso - 2014.09.04 최신버전! 목표 : 총 4대 : 네임노드 서버(Hadoop01) 1대, 데이터노드(Hadoop02, Hadoop03, Hadoop04) 3대 openssh setting(Server, Client) - sudo apt-get install openssh-client openssh-server mac에서 터미널로 접근(ssh hadoop01@xx.xx.xx.xx) hadoop 계정 생성(홈디렉토리 지정) Hadoop ver 1... 2014. 9. 11.
03. 맵리듀스 시작하기 - 맵-리듀스 개념 회사 위키에 정리해서 복사&붙여넣기를 하니..깨져서 나오는 현상이 있어서 하루패드의 마크다운 기능을 사용해보았습니다. 목 차 맵-리듀스 개념 맵-리듀스 아키텍처 1.맵-리듀스 개념 맵-리듀스 패턴(Scatter-Gather의 한 형태[Hohpe and Woolf])은 클러스터에서 많은 장비의 장점을 활용해 처리하며서 데이터가 위치한 노드에서 최대한 많은 처리가 실행되도록 작업을 조직하는 방법이다. 맵-리듀스는 구글의 맵-리듀스 프레임워크[Dean and Ghemawat]로 유명해졌다. 맵-리듀스란 이름은 함수형 프로그래밍 언어에서 컬렉션에 대해 맵과 리듀스 연산을 하는 데서 영감을 얻은 것이다. 맵리듀스 프로그래밍 모델은 단순하게 맵(map)과 리듀스(reduce)라는 두 개의 메소드로 다음과 같은 동작.. 2014. 9. 1.
02. About HDFS.. 목차 HDFS 기초 HDFS 아키텍처 HDFS 명령어 사용 정리 HDFS 기초 HDFS는 수십 테라바이트 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 많은 클라이언트가 저장된 데이터를 빠르게 처리할 수 있게 설계된 파일 시스템 입니다. HDFS과 기존 대용량 파일 시스템(DAS, NAS, SAN)의 가장 큰 차이점은 저사양 서버를 이용해 스토리지를 구성할 수 있다는 것 입니다. HDFS는 다음과 같이 네 가지 목표를 가지고 설계됐습니다. 1) 장애 복구 HDFS를 구성하는 분산 서버는 다양한 장애가 발생할 수 있습니다. 그러나 장애를 빠른 시간에 감지하고, 대처할 수 있게 설계돼 있습니다.(Really??) HDFS는 데이터를 저장하면, 복제 데이터도 함께 저장해서 데이터 유실을 방지!.. 2014. 8. 28.
01. 하둡 소개 목차 빅데이터 3대 요소 하둡이란? 하둡의 과제 하둡 배포판 살펴보기 정리 빅데이터 3대 요소 1) 크기(Volume) - 기존 파일 시스템에 저장하기 어려울뿐더러 데이터 분석을 위해 사용하는 기존 DW 같은 솔루션에서 소화하기 어려울 정도로 급격하게 데이터의 양이 증가 함. 2) 속도(Velocity) - 데이터가 매우 빠른 속도로 생성되기때문에 데이터의 생산, 저장, 유통, 수집, 분석이 실시간으로 처리돼야 함. 3) 다양성(Variety) - 다양한 종류의 데이터들이 빅 데이터를 구성하고 있음(정형, 반정형, 비정형 데이터) 하둡이란? 하둡은 2005년에 더그 커팅(Doug Cutting)이 구글이 논문으로 발표한 GFS(Google File System)와 맵리듀스(MapReduce)를 구현한 결.. 2014. 8. 27.
RND(Right! Now! Develop!) Study - Python Step. 02 자료형_02 RND(Right! Now! Develop!) Study - Step. 02 자료형02편 개요 학습 구성 스터디 인원 학습 시작 참고 사이트 # 개 요이번 포스팅에서는 파이썬의 자료형에 대해서 알아보도록 하겠습니다.더욱 더 자세한 내용은! 점프 투 파이썬 위키 사이트 링크 : https://wikidocs.net/1 # 학습 구성자료형과 제어문 파이썬의 자료형(숫자형, 문자열, 리스트, 터플, 딕셔너리등)이번 학습은 리스트, 터플, 딕셔너리에 대해서 알아보도록 하겠습니다. # 스터디 인원 - anycoding(손현태) # 학습 시작- 환경 : Python3 Let's Start~! 금일은 자료형 중 리스트, 터플, 딕셔너리에 대해서 살펴보도록 하겠습니다.먼저 리스트에 대해서 살펴보도록 하죠! 1) 리스트.. 2014. 8. 17.
RND(Right! Now! Develop!) Study - Python Step. 02 자료형_01 RND(Right! Now! Develop!) Study - Step. 02 자료형01편 개요 학습 구성 스터디 인원 학습 시작 참고 사이트 # 개 요이번 포스팅에서는 파이썬의 자료형에 대해서 알아보도록 하겠습니다.점프 투 파이썬 위키 사이트 링크 : https://wikidocs.net/1 # 학습 구성자료형과 제어문 파이썬의 자료형(숫자형, 문자열, 리스트, 딕셔너리등)이번 학습은 숫자형, 문자열에 대해서 알아보도록 하겠습니다. # 스터디 인원 - anycoding(손현태) # 학습 시작 - 환경 : Python3 - 자료형 어느 언어에서나 자료형이 있다. 여기에서는 숫자, 문자열, 리스트, 터플, 딕셔너리을 배울 것 이다. 터플? 딕셔너리? 어떤 것일까? 궁금하면 빨로우미~ㅋㅋ 1) 숫자형 처음 프.. 2014. 8. 5.
RND(Right! Now! Develop!) Study - Python Step. 01 셋팅 및 기초문법 RND(Right! Now! Develop!) Study - Python편 개요 학습 구성 스터디 인원 학습 시작 참고 사이트 # 개 요파이썬을 알아야하는 계기가 생겨 공부를 한번 해봐야겠다고 마음을 먹었습니다. (^0^)첫번째로 아래의 위키 사이트를 통해서 파이썬이라는 친구를 알아가보려고 합니다.https://wikidocs.net/1 위의 사이트는 2001년에 발간 된 "점프 투 파이썬"의 저자 박응용님이 개인위키에 공개 하신 위키 사이트 입니다.무한 감사드립니다. (- - (__ * 꾸벅~ 아이패드가 만약 생긴다면..ㅠ.ㅠ. E-Book으로 구입 하겠습니다. ^-^/순서주요 내용날짜1점프 투 파이썬 오프라인 책 출간 (정보게이트)2001.092개인 위키에 "점프 투 파이썬" 공개2006.033위키독.. 2014. 8. 4.
JBUG- Collection public interface Collection... In JDK 8 and later, the Collection interface also exposes methods Stream stream() and Stream parallelStream(), for obtaining sequential or parallel streams from the underlying collection. (See the lesson entitled Aggregate Operations for more information about using streams.) Traversing CollectionsThere are three ways to traverse collections: (1) using aggregate op.. 2014. 7. 30.
JBUG - JDK8 Study 오늘은..저번주에 페이스북으로 코멘트를 달았던 부분에 대해서 설명을 하였다.2014/07/17 - [Study/Study group] - JBUG - JDK8 Study(정규표현식)- Differences Among Greedy, Reluctant, and Possessive Quantifiers 와우...숨이 막히는 이 느낌은??? ㅋㅋㅋㅋㅋ;; 어느순간 보니 숨도 안쉬고 말하고 있었네요..하하;아무튼 느낌은 좋았다.ㅎㅎㅎ 다음엔 더 잘해야겠다! ㅋㅋ - END - 2014. 7. 23.
python 공부해보자! https://docs.python.org/2/tutorial/ Python is an easy to learn, powerful programming language 리얼리??? 2014. 7. 17.
JBUG - JDK8 Study(정규표현식)- Differences Among Greedy, Reluctant, and Possessive Quantifiers 오늘 이슈가 되었던 내용을 소개 하려고 한다. 링크 : http://docs.oracle.com/javase/tutorial/essential/regex/index.html Differences Among Greedy, Reluctant, and Possessive Quantifiers의 내용 이였다. 우선은 아래의 내용을 참고 해보도록 하자.QuantifiersQuantifiers allow you to specify the number of occurrences to match against. For convenience, the three sections of the Pattern API specification describing greedy, reluctant, and possessive qua.. 2014. 7. 17.
[GIS] openlayers+geoserver 연동하기!! 드디어! geoServer와의 만남이 있겠습니다ㅎㅎㅎ 환경은 이러합니다.1. openLayers2. geoServer3. OpenStreet Mapbase map은 open street이라는 것을 사용합니다.올레맵은...DB를 구축해야 쉽게할 수 있을 것 같네요..ㅠ_ㅠ 참고 예제 : http://openlayers.org/dev/examples/osm.html 결과 : 베이스 맵에 WFS인 빨강+노란동그라미를 뿌려준 것 입니다. geoServer는 아래의 주소로 가셔서 다운로드 받으시면 됩니다.^-^http://geoserver.org/download/ 설치는 클릭신공! 사용하시면 됩니다 ㅋㅋ geoServer 메뉴에서 Layer Preview라는게 있습니다.(http://openlayers.or우리가.. 2014. 7. 7.
[문제] Java main함수에서 static 키워드가 없다면?? package kr.pe.acet; public class MainTest { // public static void main(String[] args) { public void main(String[] args) { // TODO Auto-generated method stub String test = "This is test!"; System.out.println(test); } } 위의 코드에서 main부분에 static 이 없다면?? 1) compile은 된다. run은 X 2) compile조차 안된다.(당근 run도 X) 3) compile은 안되나 run은 된다.당신의 선택은????답은 코멘트로!! ㅋㅋ - END - 2014. 7. 4.
ACE-T's JS Part 04. 익명함수! 요즘 gis를 하는데 있어서...아래의 형태가 있었습니다. 음..조금 당황 했습니다. ㅋㅋㅋ;; 많이 써보는 형태는 아니였던게죠..ㅠ.ㅠ..anyways..이제부터 알아가보도록 하겠습니다.^-^(function(){ })(); 참고 사이트 http://www.nextree.co.kr/p4150/ KSUG 최영목님이 댕기시는 회사에 너무 잘 정리를 해놔서..참고 하였습니다. 넥스트리 화이팅! ㅎㅎ 보통 함수 선언을할 때 아래와 같이 합니다. 이것은 함수 선언식이라고 부릅니다.function acetBlog(){ /* 실행코드 */} 하지만 아래와 같이! 선언할 수 있습니다. 함수 표현식과 즉시실행함수 가 있습니다. 당황하지 마세요! 이제부터 알아가면 되니깐요! ㅎ함수 정의할 때 “함수는 first-clas.. 2014. 7. 3.
JBUG - JDK8 Study(Concurrency_01) Jboss User Group Study - 2014.07.02(수) 주호씨 덕분에 하게 된 스터디! 감사르~~Concurrency(동시 실행) 오늘 기억에 남는 내용은.. InterruptsAn interrupt is an indication to a thread that it should stop what it is doing and do something else. It's up to the programmer to decide exactly how a thread responds to an interrupt, but it is very common for the thread to terminate. This is the usage emphasized in this lesson.A thread se.. 2014. 7. 3.
Mac에서 Jdk8 설치 되는 장소! /Library/Java/JavaVirtualMachines/jdk1.8.0_05.jdk/Contents/Home AceTui-MacBook-Pro:~ AceT$ /usr/libexec/java_home -v 1.6/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home AceTui-MacBook-Pro:~ AceT$ /usr/libexec/java_home -v 1.8 /Library/Java/JavaVirtualMachines/jdk1.8.0_05.jdk/Contents/Home - END - 2014. 7. 2.
[GIS] openlayers를 이용한 간단하게 배경 뿌리기! 환경 :Window 7 회사 PC ㅋㅋopenlayers 2.12ollehMap openlayers&Olleh Map을 사용!(개인은 무료라고 하네요 오예!) openlayers : http://openlayers.org/download/ 사용버전은 2.12~! ollehMap : http://dev.ktgis.com/ [Result]setting base picture with openLayers :D 알아두면 좋은 용어!# Raster - Zoom Level, 정적인 표현 - 이미지(깨짐) - zoomin/out : 새로운 지도 데이터 로딩 # Vector - Zoom Level 보다는 Scale을 이용(안깨짐), 동적인 표현 - 새롤운 지도데이터를 이용하여 Redraw Source 대해 알아보도록 .. 2014. 7. 1.
[GIS] GeoServer??? 오잉? 어떤 친구인가?? 프로젝트 오픈을 하고....자리를 옮기고 나니 맥북을 꺼내질 못한다..ㅠㅠ..왕눈치가 보이는구나ㅋㅋ..anyways..어제부터 gis도(?) 하라고 해서 차근차근 정리 해보려고 한다.사실 지금 개인프로젝트 하는데 한번 붙여보고싶어서이기도 하다 ㅋㅋㅋ 음..그런데 오라클 Spatial을 돈주고 사서 사용한다고 하던데..개인은 공짜로 해주려나..ㅎㅎ;아무튼 정리 ㄱㄱ~ OpenLayers, geoServer, ollehMap 등을 사용한다. 포스팅에서는 회사관련된 것은 쇽쇽~빼버리고 포스팅을 하겠다ㅋ 우선은 자바로 만들어진 오픈소스를 사용한다. opensource geoServerhttp://geoserver.org/ 예전 GIS구축 때는 클라이언트에서 이미지를 생성하였는데 오픈소스 geoServer를 도입.. 2014. 6. 27.
[색인&검색] UI에 루씬 붙여보기! 에고고...환절기 감기 조심하세요...갑자기 엊그제 선풍기 틀어놓고 창문 열어놓고 잤더니...편도가 심하게 부어서...미열(37.5)도 나서 죽을 것 같네요...@.@;;; 하지만 고고씽 해볼까용~약먹고 궁디에 주사도 맞아서 조금 나아졌네요 헤헤; 간단하게 spring을 사용하여 루씬을 붙여보겠습니다~ 환경springframework 3.1mavenlucene 4.0알파아파치 톰캣 6.0Junit test - 색인 구현 검색바 부분 검색어 : taeha로 검색을 하였을 때!~ 검색결과 부분 수집기를 이제 한번 만들어봐야할 것 같습니다.또한 매~~~우 기본적으로 검색을 구축 하였습니다.아직 풀지 못한 친구와 통계와 정렬, 자동완성, 인기어, 유사어, 불용어, 결과내 재검색 등등 해봐야 할 것들이 많네요!~.. 2014. 6. 21.
Version Interface [이미지 출처 - 웹툰 작가 꿀똥이] 인터페이스를 바꾸고 싶은데..바꿀 수 없는 경우에는 어떻게 해야할까?인터페이스에 어떤 연산을 추가하고 싶을 때가 바로 그런 경우다.새로운 인터페이스를 선언해서 기존 인터페이스를 확장(상속)한 후 새로운 연산을 추가할 수는 있다.반드시 다운캐스트해서 사용해야 한다는 점에 주의하자!출처 : 켄트 벡의 구현 패턴 중에서!내용을 바탕으로 코드로 구현해봄! ㅎㅎㅎ 2014. 6. 19.
[색인&검색] 음.. 음.... 궁금한것이 생겼다.. 루씬에서 doc01.scd 라는 수집되어진 문서가 있다고 하자.그 안에는 다음과 같이 로 구성 되어져있다.내가 원하는 것은 검색을할 때 문서를 찾고 그 안에서 offset을 통해 검색되어진 만 뽑아내고 싶다...찾아보는데 잘 찾아지지 않는다..하하;음...생각해보면 역시..오픈소스는 좋은 것 같다. 이런저런 고민도 하게 해준다ㅋㅋ기존에 검색엔진을 가지고 개발은 많이 해봤지만 뭔가 주인의식이 없다고 할까?..오픈소스 루씬은 설치부터 개발까지 그안에 있는 것들도 확장가능하니 이 얼마나 좋은 오픈소스인가!! +ㅁ+/라고 생각을 해본다. 001 lucene books goooood lucene 002 lucene dev very goooood 003 lucene taeha dev.. 2014. 6. 19.
반응형

티스토리툴바