2021.06.14 - [Study/Study group] - [Spark-Study] Day-1 2021.06.24 - [Study/Study group] - [Spark-Study] Day-2 2021.07.01 - [BigDATA/spark] - [Spark-Study] Day-3 spark local debugging 해보기 코드상으로는 아래의 내용이 추가 된다. val conf = new SparkConf().setAppName("MnMCount") conf.setIfMissing("spark.master", "local[*]") val spark = SparkSession .builder .config(conf) .getOrCreate() // val spar..

7월장이 끝이 났네요. 아쉬움이 조금 남는 7월이였던거 같습니다. 8월에는 더욱 신중한 매수 + 발빠른 매도를 하도록! 원칙을 생각하며 투자를 해봐야겠네요 7월에는 금리, 테이퍼링, 코로나 등 많은 이슈들이 있었습니다. 날씨도 폭염에... 모두 건강 유의 하시고 8월에도 성투! 잃지 않는 투자가 되기위해! 화이팅 입니다~ 주저리 : 7월에는 주식 공부를..1도 안한것 같다..; 8월에는 시황 체크 및 종목 체크를 한번 해봐야겠..

IntelliJ를 2021.02버전으로 업그레이드를 한 뒤에 재미난 것을 발견하였다. code with me라는 플러그 인 인데 이것을 사용하면 요즘 코로나 시대에 발 맞추어 비대면으로 코드 리뷰등을 손쉽게 할 수 있다. 2021.02버전을 인스톨하면 자동으로 해당 플러그인이 installed 된 상태이다. 1. 권한 부여 요 기능을 사용하려면 먼저 Permission and Security를 통해 말 그대로 권한을 부여한다. 아래처럼 읽기,수정, 모든권한 등등..

2021.07.01 - [BigDATA/spark] - [Spark-Study] Day-3 회사에서 인텔리J를 사줘서 유용하게 사용하고 있다! 그래서 Ultimate version으로 셋팅! 학생이라면 Community 버전으로! 그런데 역시나 돈을 안내면 제한은 있다..ㅜㅜ 위에서 IntelliJ IDEA -> Applications로 드래그 해주면 인스톨 된다. 인스톨 이후 Plugins에서 Big Data Tools를 인스톨 해준다. 단, 커뮤니티 버전이면 big data tool 플러그인은 보이지 않는다....

스터디 인원 총 3명 : 태하, 웅기, 낭도 스터디 목표 1. 태하 : 스터디를 통해 개발에 대한 동기부여 및 개인역량 증진! 2. 웅기 : 3. 낭도 : 스터디 방식 어떻게 할까? 1. 태하 : 포트폴리오(최종산출물) 설정 -> 필요한 것들 스터디 하는 방식(개별) 2. 웅기 : java 기본 개념 잡고 3. 낭도 : Blog 정보 태하 : https://acet.pe.kr/ 웅기 : https://roobi-story.tistory.com/

안녕하세요~에이스-티 입니다. 제가 추천드리는 제주 애월 카페는 애월 7일! 입니다 :) 예쁜 돌담 넘어 깔쌈한 카페가 보이는군요! 애월 7일 정면 모습! 소개하는 글은 초보적이라..사진을 많이 못찍었네요 ㅋㅋㅋㅋ 특히 내부사진이...1도 없는..쿨럭~ 아이스 아메리카노인데 살얼음이!!! 뜨거운 여름때 더욱 더 빛이 나는 애월 7일 카페네요 ㅎㅎ 아직 먹어보지는 못했지만 브런치도 파네요(옆에서 누가 먹는것 구경..ㅋㅋ..

내가 하고 싶은 것은 아래와같이 argument에 날짜를 넣고 그것을 메인쪽에 있는 String[] args에서 받아서 처리하는 것이다. 디버깅을 해보면 args에 위에서 설정했던 값이 들어오는것 처럼 보인다. 그러나 현실은 에러!! 아래에 보면 public void run()쪽에서 예외가 나버린다. java.lang.reflect.InvocationTargetException 콘솔창에 찍힌 오류 내용 Exception in thread "restartedMain" java.lang.reflect.InvocationTarg..

3월, 4월에 이어 또다시..천만원대 수익창출에 성공했네요! 가치투자한 종목이 100퍼를 넘어서 수익창출 했던것이 컸네요 ㅎㅎ 7월에도 성투를 할 수 있도록! 모자림의 미학과 기다림의 미학을 생각하며 투자 해야겠습니다. 스윙 종목에 대해 이미 투자를 한 상태이고 시황의 흐름을 체크하며 대응해 나가야겠네요 모두 7월! 성투하세요~~~~화이팅! 별그램 : momi_stock

안녕하세요~에이스-티 입니다. 제가 추천드리는 제주 애월 카페는 애월 7일! 입니다 :) 예쁜 돌담 넘어 깔쌈한 카페가 보이는군요! 애월 7일 정면 모습! 소개하는 글은 초보적이라..사진을 많이 못찍었네요 ㅋㅋㅋㅋ 특히 내부사진이...1도 없는..쿨럭~ 아이스 아메리카노인데 살얼음이!!! 뜨거운 여름때 더욱 더 빛이 나는 애월 7일 카페네요 ㅎㅎ 아직 먹어보지는 못했지만 브런치도 파네요(옆에서 누가 먹는것 구경..ㅋㅋ..

가맹점은 아래의 사이트로 알수 있다. https://search.konacard.co.kr/payable-merchants/jeju 신청해서 사용해야겠다! 주유 카드 없었는데 잘된듯! ㅎㅎ 신청은 -> https://card.kbcard.com/CXPRICAC0137.cms?cooperationcode=01588&solicitorcode=&issueStateType=&trid=&jehuId= 카드발급 | KB국민카드 (PWC6) 죄송합니다. 고객님, 신용점수 600점 이하를 선택시 금융소비자보호법에 따라 카드소액신용결제서비스신청 진행..

7월장이 끝이 났네요. 아쉬움이 조금 남는 7월이였던거 같습니다. 8월에는 더욱 신중한 매수 + 발빠른 매도를 하도록! 원칙을 생각하며 투자를 해봐야겠네요 7월에는 금리, 테이퍼링, 코로나 등 많은 이슈들이 있었습니다. 날씨도 폭염에... 모두 건강 유의 하시고 8월에도 성투! 잃지 않는 투자가 되기위해! 화이팅 입니다~ 주저리 : 7월에는 주식 공부를..1도 안한것 같다..; 8월에는 시황 체크 및 종목 체크를 한번 해봐야겠..

3월, 4월에 이어 또다시..천만원대 수익창출에 성공했네요! 가치투자한 종목이 100퍼를 넘어서 수익창출 했던것이 컸네요 ㅎㅎ 7월에도 성투를 할 수 있도록! 모자림의 미학과 기다림의 미학을 생각하며 투자 해야겠습니다. 스윙 종목에 대해 이미 투자를 한 상태이고 시황의 흐름을 체크하며 대응해 나가야겠네요 모두 7월! 성투하세요~~~~화이팅! 별그램 : momi_stock

5월은 외국인형들의 매도세가 너무 쎄서 쫄아서 대응을 하지 않고 존버를 하는 위주의 투자를 하였다. 6월 여름 증시도 어렵다카던데.. 6월에는 조금 대응을 해봐야겠다. 스윙을 노려봐야지! 5월 모두 수고하셨습니다! 가치투자는 승리한다! 별그램 : momi_stock

저번달에 이어 다시 천만원대 수익! ㅎㅎ 나만의 원칙대로! 기다릴줄 아는 투자, 잃지 않는 투자를 위해 공부하자! 아직 모르는 부분이 많다. 특히 차트는...OTL 나중에 주식관련 개발을 해봐야겠다. 저번에 간단히 파싱하는건 만들었었는데 좀 더 디테일하게 만들어봐야겠다:)

언젠가부터 재테크에 흥미가 생겨버렸다. 부동산과 주식 등 많은걸 알아보았다. 앞으로도 현재진행형! 이번에 회사를 분석해서 싸게 사서 비싸게 팔아버렸다! 하루만에 엄청난 수익을..와우..!! 너무 기쁜 나머지 이렇게 블로그에도 올려본다 헤헤 > 잃지 않는 주식을 해야한다. 마인트 컨트롤을 다시 해서 좋은 종목을 찾고 제테크를 해보자! 주식을 사기전에는 적정주가를 체크 해보자! 하이 리스크 하이 리턴..! 리스크를 줄..

2018/07/25 - [재테크 Info/주식 일기] - 2018년07월25일(수) 주식일기    아 11,500원이 떨어지다니..멘붕...ㅋㅋ 장투의 길은 멀고도 험한 것! 하나 샀던것은 쫄아서 다시 팔아버렸는데..오늘 많이 올랐네 ㅋㅋㅋ 내가 사면 떨어지고 팔면 오르는...ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 오늘의 교훈은 장기투자 + 가치투자 + 멘탈 잡자!

2018/07/24 - [재테크 Info/주식 일기] - 2018년07월24일(화) 주식일기 오늘은 한종복 추가! 세금때문에 파랑이..ㅜㅜ 올라가즈앗!  

2018/07/23 - [재테크 Info/주식 일기] - 2018년07월23일(월) 주식일기 장기투자, 가치투자 가즈아~   900원 상승 1500원 상승 0 원

내가 하고 싶은 것은 아래와같이 argument에 날짜를 넣고 그것을 메인쪽에 있는 String[] args에서 받아서 처리하는 것이다. 디버깅을 해보면 args에 위에서 설정했던 값이 들어오는것 처럼 보인다. 그러나 현실은 에러!! 아래에 보면 public void run()쪽에서 예외가 나버린다. java.lang.reflect.InvocationTargetException 콘솔창에 찍힌 오류 내용 Exception in thread "restartedMain" java.lang.reflect.InvocationTarg..

주저리 es버전..1.2.1 완전 오래된..버전을 사용하면.. 공용으로 사용하는 spark 2.4.5 / scala 2.12 / elastic lib 버전 문제로 온갖 삽질 다함... es 버전을 못올리는 상황이라면? 공용 spark쪽 사용 X es lib를 버전업 못한다면 자체 개발 -> springboot + springdata + elasticsearch로 개발 으악! 이것도 역시나 버전문제 발생.. 그래서 방향 다시 틀었다. REST api를 curl로 찔러서 파일로 다운. 이 파일을 자바에서 처리..

www.elastic.co/kr/what-is/elk-stack ELK Stack: Elasticsearch, Logstash, Kibana ELK Stack이란 무엇인가요? ELK Stack은 널리 알려진 세 개의 오픈 소스 프로젝트인 E=Elasticsearch(Lucene 기반), L=Logstash, K=Kibana의 머리글자를 합친 것입니다. Beats가 추가되어 이제 ELK Stack을 Elastic Stack이 www.elastic.co 간만에 elk 셋팅을 해보려고 하는데 귀여운 이미지에 흥미가 더 생겼다 ㅋㅋ 이제는 거의 필수적으로..

k8s 도입 전 클라우드 네이티브 개발에 대해서 알게 되었다. cloud native development? 왜 클라우드 네이티브 개발인가? 클라우드의 이점을 완전하게 활용하려면 애플리케이션에 대한 새로운 접근 방식이 필요하며, 컨테이너를 사용한 패키징, 현대화된 아키텍처 수용, 애자일 기술 활용이 이에 해당 합니다. 클라우드 네이티브 방식은 개발 가속화, 제공 가속화, 변화하는 요구에 대한 적응을 가속화할 수 있는 최적의 방법입..

@JsonInclude 어노테이션 속성을 제외 하는데 사용. ex) JSONObject _connects가 null인 경우에 제외! @JsonInclude(JsonInclude.Include.NON_NULL) private JSONObject _connects; @JsonIgnoreProperties 클래스 레벨의 어노테이션이고 무시할 속성을 표시 @JsonIgnoreProperties({ "id" }) public class BeanWithIgnore { public int id; public String name; } id는 무시되는걸 알수 있다. @Test public void whenSerializin..

특정 Exception이 발생하면 일정 횟수만큼 재시도 할 수 있는 어노테이션이다. @EnableRetry 작성.(configuration 등) 재시도 하고 싶은 메소드에 @Retryable 작성.  include : 특정 Exception이 발생할 때 retry exclude : 설정 된 Exception 재시도 제외 maxAttempts : 최대 재시도 횟수(default 3회) backoff : 재시도 pause 시간 ex) FailedStoreException 발생 시 최대 5번 시도! delay 10 @Retryable(value = { FailedSt..

온라인 시험이.. 300달러..!!! 개 비싸다 ㅋㅋ 열공하고 회사에서 지원해주면 도전해 볼 만할듯! ㅋㅋ www.cncf.io/certification/cka/ Certified Kubernetes Administrator (CKA) | Cloud Native Computing Foundation The Certified Kubernetes Administrator (CKA) program was created by the Cloud Native Computing Foundation (CNCF), in collaboration with The Linux Foundation, to help develop the Kubernetes ecos..

이 메소드는 소멸 메소드이며 이전 @PostConstruct와 상반된 개념이다. JSR-250 스펙에 따라 구현 되었다. (걍 자바에서 사용하려면 또는 springframework 2.5미만 버전에서는 javax.annotation 패키지 관련 라이브러리가 필요 함.) Springframework 2.5부터는 사용 가능! 현재 프로젝트에서는 @PostConstruct와 @PreDestory만 사용하고 있다. 하지만 찾아보니 여러가지 방법이 존재했다. 아래의 멋진 사이트를 참고하면 된다...

스터디 인원 총 3명 : 태하, 웅기, 낭도 스터디 목표 1. 태하 : 스터디를 통해 개발에 대한 동기부여 및 개인역량 증진! 2. 웅기 : 3. 낭도 : 스터디 방식 어떻게 할까? 1. 태하 : 포트폴리오(최종산출물) 설정 -> 필요한 것들 스터디 하는 방식(개별) 2. 웅기 : java 기본 개념 잡고 3. 낭도 : Blog 정보 태하 : https://acet.pe.kr/ 웅기 : https://roobi-story.tistory.com/

p31 The Spark UI 저번시간 스파크 셋팅 이후 cd /usr/local/Cellar/apache-spark/3.1.1/bin에 가서 spark-shell을 실행 시켜준다. spark-shell 아래와 같이 환영 해줌! ㅋㅋ To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Spark context Web UI available at http://아이피나옴:4040 Spark context available as 'sc' (master = local[*], app id = local-1624457045234). Sp..

mac에 아파치 스파크 설치 - brew info apache-spark - brew install apache-spark 3.1.1 셋팅 완료! 스파크는 아래와 같이 다양하게 사용이 가능하다! Spark Job Spark Stages - Job -> stage 즉, 각 Job마다 Stage가 parallel 하게 또한 연속적인 형태로 붙을 수 있다. - 스터디 시 그림만 보고 Job은 parallel하게 되고 연속적인 Single Stage가 호출 되는줄 오해 했음. Spark Tasks 최종적으로 머릿속에 큰 그림이 그..

kubectl 롤링 업데이트 해보기! img만들고 docker build -t idock.xxx.io/teri_epi/kubia:v1 docker build -t idock.xxx.io/teri_epi/kubia:v2 docker hub에 push docker push idock.xxx.io/teri_epi/kubia:v1 docker push idock.xxx.io/teri_epi/kubia:v2 k : kubectl / rolling update! k rolling-update kubia-v1 kubia-v2 --image=idock.daumkakao.io/teri_epi/kubia:v2 kubectl 롤링 업데이트는 더이상 사용되지 않는다. Wh..

6장 볼륨 : 컨테이너에 디스크 스토리지 연결 볼륨은 pod와 라이프사이클이 같다. 즉, pod가 생성 될 때 볼륨이 생성, 삭제될 때 볼륨이 삭제. pod 스펙에 정의 된다. pod의 모든 컨테이너에서 볼륨을 사용할 수 있다.(단, 볼륨에 액세스해야하는 각 컨테이너에 볼륨을 마운트 해야 한다.) 여러가지 종류가 존재 emptyDir: 일시적인 데이터를 저장하는 비어있는 단순 디렉토리. hostPath : 워커 노드(물리장비)의 파일 시스템에..

개 요 about Json 관련 개념 marshalling/unmarshalling encoding/decoding 예제 기본적인 코드 구현 확장 관련 된 확장 개념 등 개요 JSON (JavaScript Object Notation)은 경량의 DATA-교환 형식이다.  이 형식은 사람이 읽고 쓰기에 용이하며, 기계가 분석하고 생성함에도 용이하다.  JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999의 일부에 토대를 두고 있다.  왜 Json을 사용하는..

주저리 일을 하다보니..무심코 그냥 지나치거나 그냥 암기식으로 정확히 모르는 상태에서 개발을할 때가 너무도 많았던것 같다. 일정이 빠듯하고 빨리 빨리를 외치는 한국 개발 문화도 있겠지만.. 내가 지식에 대한 접근이 틀렸을지도 모르겠다. 생각을 해보면 내부, 외부 스터디를 통해 많은 도움을 받고 더 발전을 해왔던것 같다. 앞으로도 스터디를 통해 좀 더 나아가고자 한다. 스터디 모임 RND : 개인적으로 지인들과 만든..

public interface Collection ... In JDK 8 and later, the Collection  interface also exposes methods Stream stream()  and Stream parallelStream() , for obtaining sequential or parallel streams from the underlying collection. (See the lesson entitled Aggregate Operations for more information about using streams.) Traversing Collections There are three ways to traverse collections: (1) using ag..

더보기 Runnable과 Callable의 차이점은? acet.pe.kr/819 > 상황 성능이 좋지 않은 부분이 발생하여 그 부분을 해소하기 위해 멀티 쓰레드로 처리하려고 했다. 그런데 멀티 쓰레드 처리 후 나오는 리스트형 데이터가 재사용 되어지는 문제가 발생. > 결론 생산자-소비자 패턴을 사용하기로 함. 생상자 - 멀티쓰레드 처리 및 리스트형 데이터를 블라킹 큐에 넣어줌. 넣기만 함! 소비자 - BlockingQueue에 넣어진 것들을 사용함...

Runnable과 Callable의 차이는? - Runnable : 객체와 Exception을 발생 시키지 않음. - Callable  : 특정 타입의 객체와 Exception을 발생 시킴. ㅇㅋ!

자바에서 Thread-Safe 즉, 데이터에 대해 동시 접근을 제어하기 위해 Lock( 2020/11/24 - [Language/Java] - Java thread에서의 Lock의 종류?) 을 사용한다. 그런데 이 데이터가 그냥 값을 읽거나 업데이트 정도의 기능일 경우에는 Lock보다는 원자성(Atomic) 변수가 더 성능도 좋고 효율적이다. 아래는 Thread-Safe 이야기 하다가 나옴 ㅋㅋ 오늘 포스팅은 AtomicInteger와 LongAdder에 대해 알아보고자 한다. LongAdder의 경..

자바에서 2개의 Lock이 있는데 첫번째는 자바에서 thread간 동기화를 위해 synchronized 키워드를 사용하는것을 사용 합니다. 이런 synchronized 키워드를 사용하는 lock을 Intrinsic Lock 또는 Built-in Lock이라고 한다. // Mutual Exclusion public synchroized void intrinsicLockfunc(){ ... } // Wait synchronized(this){ ... this.wait(); ... } // signal synchronized(this){ ... this.notify(); ... } 두번째는 Java..

log.WithField("dump=", "start").Debug("auth start") dump, err := httputil.DumpResponse(resp, true) if err != nil { log.Fatal(err) } log.WithField("dump??", string(dump[:])).Debug("auth dump") // fmt.Printf("DUMP => %q", dump) 참고 : https://golang.org/pkg/net/http/httputil/

golang 채널이란? 1. 데이터를 주고 받는 통로. 2. make를 통해 미리 생성. 3. 채널 연산자 보통 고루틴들 사이에 데이터를 주고 받을때 상대편이 준비 될때까지 채널에서 대기 -> 별도의 lock을 걸지 않고 데이터를 동기화 하는데 사용 한다. 채널 만들기 1. ch := make(chan int) // 정수형 채널이 생성. 채널 송수신 1. 채널로 데이터를 보낼 때 채널 ch 2. 채널로 부터 데이터를 받는다. 변수로 받을수도 있고 아래와 같은..

갑자기 헤더 오류가 나서 뭔가 싶었는데 알고 봤더니 앞단과 뒷단간에 통신할 때 Request가 Bad였던것! 그래서 아래와 같이 오류가 떨어짐. 수정사항으로는 앞단(클라이언트, 프론트) encodeURL로 뒷단(서버)에서는 decoode를 수행. 특이사항으로는 로컬에서는 잘되어짐. 서버단에서 버그 발생. 톰캣 버전에 따라서 달라진다는것을 알수 있었음. -_-;; 톰캣!!~~  - 끝 -

// Mux is a simple HTTP route multiplexer that parses a request path, // records any URL params, and executes an end handler. It implements // the http.Handler interface and is friendly with the standard library. // // Mux is designed to be fast, minimal and offer a powerful API for building // modular and composable HTTP services with a large set of handlers. It's // particularly useful for wr..

2021.06.14 - [Study/Study group] - [Spark-Study] Day-1 2021.06.24 - [Study/Study group] - [Spark-Study] Day-2 2021.07.01 - [BigDATA/spark] - [Spark-Study] Day-3 spark local debugging 해보기 코드상으로는 아래의 내용이 추가 된다. val conf = new SparkConf().setAppName("MnMCount") conf.setIfMissing("spark.master", "local[*]") val spark = SparkSession .builder .config(conf) .getOrCreate() // val spar..

2021.07.01 - [BigDATA/spark] - [Spark-Study] Day-3 회사에서 인텔리J를 사줘서 유용하게 사용하고 있다! 그래서 Ultimate version으로 셋팅! 학생이라면 Community 버전으로! 그런데 역시나 돈을 안내면 제한은 있다..ㅜㅜ 위에서 IntelliJ IDEA -> Applications로 드래그 해주면 인스톨 된다. 인스톨 이후 Plugins에서 Big Data Tools를 인스톨 해준다. 단, 커뮤니티 버전이면 big data tool 플러그인은 보이지 않는다....

spark 예제 돌려보기 sbt로 build를 하기 위해 필요한 것은 아래와 같다. 1. 소스 2. build.sbt sbt clean 한뒤에 sbt package를 해보자! spark-submit 해보기! /usr/local/Cellar/apache-spark/3.1.1/bin/spark-submit --class MnMcount target/scala-2.12/main-scala-chapter2_2.12-1.0.jar mnm_dataset.csv 인텔리J에 셋팅 해보기! 인텔리J에서 프로젝트를 Open 해보자! 아래와 같이 인텔리J에 프로젝트를 잘 가져왔다...

Error.. not found 에러! 15:54:42.639 [warn] :::::::::::::::::::::::::::::::::::::::::::::: 15:54:42.640 [warn] :: UNRESOLVED DEPENDENCIES :: 15:54:42.640 [warn] :::::::::::::::::::::::::::::::::::::::::::::: 15:54:42.640 [warn] :: net.databinder.dispatch#dispatch-core_2.12;0.11.2: not found 15:54:42.640 [warn] :: org.scalatest#scalatest_2.12;2.2.4: not found 15:54:42.640 [warn] :: org.apache.sp..

스칼라 알못 스파크 알못이라..이번에 작업한 내용이 있는데 삽질을 많이 했다...ㅋㅋ 생각나는 것들을 적어보자. HDFS를 가져와 RDD에 저장! sc.textFile을 통해서 HDFS를 가져온다. sc.textFile("hdfs path") 그런데 그냥 가져오면 소용이 없다. 그러므로 map을 통해서 필요한 친구들만 가져온다. 또한 filter를 통해 데이터를 줄여준다. ex) hdfs의 포맷이 Json이라서 Gson을 사용. filter를 통해 데이터를 줄여준다. val rd..

not found!! dependency에는 있는데 not found....sbt가 꼬인듯 하다..ㅠㅠ 이럴땐? 다시 셋팅 하자.. SBT버전이 중요! 너무 낮거나 높으면 인텔리J에서 제대로 못가져옴.-_-;; Scala/Spark 버전은 사내 분산 클러스터에 맞게 적용. build.sbt 내용 name := "neosite-data" version := "0.1" scalaVersion := "2.11.11" val sparkVersion = "1.6.2" libraryDependencies ++= Seq("org.scala-lang.modules" %% "scala-parser-co..

https://spark.apache.org/docs/latest/rdd-programming-guide.html spark rdd Overview At a high level, every Spark application consists of a driver program that runs the user’s main  function and executes various parallel operations on a cluster. The main abstraction Spark provides is a resilient distributed dataset (RDD), which is a collection of elements partitioned across the nodes of t..

하둡 hdfs 삭제 하기! #!/bin/bash # 주기적으로 hdfs 데이터를 삭제한다. # crontab 에 등록하여 실행시킨다. # 2일 전 데이터 삭제 date=`date -d "2 days ago" "+%Y%m%d"` /home/acet/program/hadoop/bin/hadoop fs -rm -r -skipTrash "/HADOOP경로/하둡path/*.txt.$date*" # 하둡 temp 데이터 삭제 find /home/acet/data/ -ctime +2 -type f -exec rm -f {} \;

go cd란? 오픈소스이다! 그리고 Continuous Integration and Continuous Delivery system이다. gocd는 gocd 서버와 gocd agent로 이루어져있다. 셋팅 시 자바기반이라 jdk가 필요하다. 그리고나서 go-server와 go-agent를 셋팅하면 된다. 셋팅 예제(CentOS기반) 1) 자바 설치 sudo yum install -y java-1.8.0-openjdk-devel.x86_64 # 자바 기반이라 자바 설치 2) go-server 설치 sudo yum install -y go-server # go-server 설..

도커 등장 배경 docker 관련 문서 : https://github.com/remotty/documents.docker.co.kr 서버를 관리한다는 것 복잡하고 어려운 서버관리 시간이 흐르면서 서버환경이 종종 바뀌거나 오픈소스가 바뀌거나 하는 걸 볼수 있습니다. CentOS -> Ubuntu Chef -> Ansible -> 또 다른 오픈소스 DevOps의 등장으로 짧은 개발주기와 잦은 배포 마이크로서비스 아키텍처의 유행 -> 프로그램은 더 잘게 쪼개어져 관리는 더욱 복잡해짐...

github > SSH and GPG keys를 설정해줬는데도 자꾸 패스워드를 물었다... cmd창에서 git config --global credential.helper osxkeychain 이 명령어를 통해 해결 하였다. 굳!

빌드서버에서 빌드 후 배포(배치 서버로) build는 shell을 통해 처리 하였다. (음..뭔가 ansible style은 아니다..ㅠㅠ 책을 사서 좀 더 파봐야겠다.) - name: Execute sbt build shell: | cd {{ build_home }}/{{ build_id }} pwd ./sbt.sh sbt.sh에서는 sbt를 통해 명령어로 처리! sbt가 export가 잘안되어서 그냥 절대경로로 처리! /daum/program/sbt/bin/sbt clean assembly deploy는 간단히 copy해주는 형식으로 처리 하였..

ansible + grafana환경에서 아래와 같은 오류가 발생하였다. Error: ✗ Could not create /var/lib/grafana/plugins/grafana-piechart-panel/.gitignore. Permission denied. Make sure you have write access to plugindir NAME:  Grafana cli plugins install - install USAGE:  Grafana cli plugins install [arguments...] 첫번째 해결책으로 아래와 같이 user: root를 통해 해결하였다. - name: run grafana docker_cont..

may be elsewhere in the file depending on the exact syntax problem.  The offending line appears to be: - name: Create a data volume ^ here 위의 오류는 ansible 버전이 낮아서 나는 오류이다. ansible은 버전이 2.7이상이어야 docker_volume을 사용할 수가 있다. 참고 사이트 : https://docs.ansible.com/ansible/latest/modules/docker_volume_module.html?highlight=docker_volume

inventory file은 리모트 서버에 대한 meta 데이터를 기술하는 파일. 기본 파일은 /etc/ansible/hosts이나 따로 inventory file을 사용할 수 있는 옵션(-i)을 줄수 있음. alpha파일이라고 가정하고 그 안의 내용은 아래와 같다.  acet1 ansible_host=acet-dev.cc [acet] acet1 playbook은 ansible의 환경 설정, 배포를 가능케 함. yaml 문법을 채용하여 정책을 기술 conditional(when), variables, loops(with_items), include,..

 Docker? 2013년 3월 Docker, Inc에서 출시한 오픈소스 컨테이너 프로젝트 복잡한 리눅스 어플리케이션을 컨테이너로 묶어서 실행할 수 있음. 리눅스 커널에서 제공하는 컨테이너 기술을 이용. 컨테이너(이미지)를 전 세계 사람들과 공유 Github와 비슷한 방식의 Docker Hub 제공. 이미지 생성과 배포에 특화. 이미지 버전관리 제공, 중앙저장소에서 이미지를 올리고 받을 수 있음. (push/pull) 컨테이너? 가상화보다 훨씬 가..

VueJs 셋팅 시 IntelliJ에서 나오는 오류! 해결 방법은 아래와 같이 자바스크립트 버전을 변경하여 주면 된다! 끝~

# 바로 코딩을 해보고 싶으신 분은 jsfiddle로 쉽게 해볼수 있습니다. https://jsfiddle.net/chrisvfritz/50wL7mdz/ # Vue.js의 특징으로 단일 파일 컴포넌트를 들수 있다. Componet System : Vue의 또 다른 중요한 개념. # 호환성 Vue는 ECMAScript5 기능을 사용 -> IE8 이하 버전을 지원하지 않습니다. 하지만 모든 ECMAScript5 호환 브라우저를 지원합니다. # Vue Devtools * https://github.com/vuejs/vue-devtools#vue-de..

공식 홈피  https://vuejs.org/ 한국어버전 : https://kr.vuejs.org/v2/guide/index.html Vue.js Vue.js - The Progressive JavaScript Framework vuejs.org 구글트렌드 Vue.js를 왜 써야하나? 엄청 복잡하게 코딩을 했던 옛날! 이제는 Vue.js같은 프레임워크를 통해 빠르고 쉽게 코딩이 가능하다. 프레임워크에는 angularJS, react등도 있지만 Vue.js는 아래와 같은 특징이 있다고 한다. 약팔기(?) 접근하기 용이! 러닝커..

vue-cli 설치 terrypark@localhost  ~  sudo npm install vue-cli -g Password: npm WARN deprecated coffee-script@1.12.7: CoffeeScript on NPM has moved to "coffeescript" (no hyphen) ⸨░░░░░░░░░░░░░░░░░░⸩ ⠴ fetchMetadata: WARN deprecated coffee-script@1.12.7: CoffeeScript on NPM has moved to "coffeescript" (no hyphen) /usr/local/bin/vue -> /usr/local/lib/node_modules/vue-cli/bi..

6가지 원시 데이터(Primitive Data) 유형 - null - undefined - number - string - boolean - symbol(ES6+) 객체(Object) 데이터 유형 - function object - array object (배열객체) - object 객체 생성 ? new 생성자 함수()

Document 두 수의 합을 출력해봅니다. + = 12

아래의 링크를 통해 쉽게 map을 컨트롤할 수 있다. https://www.image-map.net/

요소 : 윗첨자 요소 : 아래첨자 요소 : 관련 참조 목적의 하이라이트된 글자 요소 요소 : 축약요소 요소 : 기계가 이해할 수 있는 날짜나 시간을 나타내는 요소 요소 : 더 이상 관련이 없거나 정확하지 않은 요소 참고 자료  윗첨자 요소  아래첨자 요소  축약 요소  시간 요소  더 이상 관련이 없거나 더 이상 정확하지 않은 요소  관련 참조 목적의 하이라이트된 글자 요소  저작권, 법적 텍스트, 주석 및 작은 글씨..

- JUNIT TEST 리펙토링을 하는데 있어서 테스트가 필수!(리펙토링을 하기 위한 전제조건!) - How to test? mockito를 이용 해보자. 설정을 해보자. 현재 maven을 사용. 위의 그림처럼 maven dependency를 설정(pom.xml)하여 준다.(mockito라는것을 사용해보려고 한다.) 현재(2015년11월의 최신 릴리즈버전이다.) org.mockito mockito-core 1.10.19 소스에서는 import static org.mockito.Mockito.*; 를 static으로 import 시..

[본 사진은 아래의 내용과 무관 합니다. 그림이 없는 것보단 나아서..ㄷㄷ] Junit은 말그래도 Unit 테스트 이다.. Unit 테스트 답게 리소스를 사용하는게 맞을 것 같다. 그렇지 아니하면 아래와 같이 메모리가 부족하여..오류가 난다.^-^;; 전체의 리소스를 잡는것이 아니라 해당 유닛 테스트를 위해 scope을 줄여서 테스트를 해야 빠르고 쉽게 개발을 할 수 있을 것이다. << 오류 >> java.lang.NoClassDefFoundError: Could no..

전제 :      1) Was Server의 instance명이 VM Agument에 설정이 되어있어야 한다.       2) "classpath:spring/context/context-properties.xml" 에서 config.properties가 연결되어있어야 함.   # 선 셋팅 작업 1)    Local test 시 Vm argument에 server명 입력 : -Dserver="acetServer11"   => # Run 할 때 설정에서 vm argument를 넣어줘야한다는거~!(in eclipse) 2)    config.properties에 아래 내용..

   역시나 체크 스타일도..다른 플러그인과 마찬가지로!!    Help > Install New Software.. > checkStyle - http://eclipse-cs.sourceforge.net/update    (버전에 맞게 선택)     > next, next > 이클립스 재가동    - 끝 -

  2013/08/19 - [TEST/PMD] - pmd plug-in 설치   설치 후 reStart를 하고 난 뒤에 PMD가 잘 깔려있는지 보자. Window > Preferences > PMD 좌측에 메뉴가 있는지 확인하자!^-^good~ rule set을 적용하기 위해 PMD메뉴 > Rules configuration 을 클릭   각 업무나 회사의 룰에 맞게 적용해야 할 룰셋이 있다면(xml) 1) Clear all를 통해 지운다.(기본 설정되어져있는 룰셋 제거)    2) Import rule set..    3) 원하는..

다른 플러그인과 마찬가지로 Help > Install New Software.. > http://pmd.sf.net/exlipse (버전에 맞게 선택 - 본인은 ver 3.2.6 선택) > next, next > 이클립스 재가동 참 쉽죠잉? ㅎㅎㅎ - 끝 -

JUnit 테스트를 하려고 했을 때 혼돈이 되었던 내용이다. Resource는 어디에 것을 써야 할까??? 구성은 보통 maven 프로젝트를 사용 한다면 main / test 로 나뉘어진다. java build path를 보면 source쪽에 보면 알 수 있다. @RunWith(SpringJUnit4ClassRunner.class) @ContextConfiguration(locations = {   "classpath:spring/context/context-common.xml",   "classpath:spring/context/context-aspect.xml",   "class..

테스트 주도 개발..! 우선 TDD란 무엇인지 알아보자^-^ 프로그램을 작성하기 전에 테스트부터 먼저하라! (Test the program before you write it) - Kent Beck - 말 그대로 테스트 부터 하는 것이다. 테스트 주도 개발의 목표는? Clean code that works (잘 동작하는 깔끔한 코드) - Ron Jeffries -