BigDATA(47)
-
spark-submit 옵션 관련
Spark Submit의 옵션들에 대해서 알아보자.$SPARK_HOME/bin/spark-submit --class "Main" \ --master spark://acet.pe.kr:7077 \ --executor-memory 4G \ --total-executor-cores 25 \ --conf spark.driver.memory=2G \ --properties-file $CONF_NAME \ --conf spark.driver.extraJavaOptions='-Xms1024m -Xmx2048m' \ /home/acet/service/hahaha/good-dev-assembly-1.0.jar --master // 스파크 마스터의 URL을 적어준다.The cluster manager to connect ..
2016.05.16 -
ERROR SparkUncaughtExceptionHandler: Uncaught exception in thread Thread
아래와 같은 오류가 발생하였다.원인은 스파크 버전이 달라서였다! ERROR SparkUncaughtExceptionHandler: Uncaught exception in thread Thread[appclient-registration-retry-thread,5,main]java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.FutureTask@4ce379d4 rejected from java.util.concurrent.ThreadPoolExecutor@60e14377[Running, pool size = 1, active threads = 0, queued tasks = 0, completed tasks = 1]at jav..
2016.05.11 -
문제해결) 로딩만 하다가 타임아웃 나는 현상..
couchbase + spring boot api 를 사용하였다.그런데..200만건 정도가 들어있는 상태에서 api로 조회를 하니..loading..만 하다가 timeout이 되면서 죽는 현상이 발생!! 1. spark(scala)로 데이터를 적재하는데 있어서 warning이 발생. 혹..이것 때문에? 라는 생각이 들었다. 왜냐하면 spark로 대량의 데이터를 적재한 뒤에 발생을 하였고 Flush를 한 뒤 1건을 넣고 조회를 하려고 해도 같은 현상이 발생 하였기 때문이다. 하지만 warning 때문은 아니고 추측하기에 Flush를 하여도 완전한 delete를 하는 것은 아니고 marking했다가 이녀석은 del 상태군..pass~! 하면서 전체를 풀 스캔을 하는것 같다. couchbase를 재부팅하고 다..
2016.04.19 -
spark와 친해지기!
아마 아래와 같은 형태가 될것 같다.sparkContext 클래스는 스파크클러스터의 연결과 스파크와 연동할 수 있는 엔트리 포인트를 제공. 인스턴스를 생성하여 다양한 일을할 수 있다.spark RDD : RDD(resilient distributed dataset)를 활용하면 데이터의 병렬처리를 쉽게할 수 있다.spark 참고 사이트!!http://spark.apache.org/docs/latest/programming-guide.html#overview
2016.03.22 -
spark + scala + sbt 프로젝트!!
환경 : sbt : 0.13.11 - 참고 : https://twitter.github.io/scala_school/ko/sbt.htmlscala : 2.10.6spark : 1.5.2 음..환경설정이 조금 짜증이 났지만..아래와 같은 프로젝트 구조가 생겼다. 이제 한번 scala의 문법을 공부해보자. 그런 뒤 spark를 사용하여 지지고 볶고 해보자! 일단 여기까쥐~ - 끝 -
2016.03.22 -
About MongoDB
이런..회사 github에서 적은 내용이 블로그로 포스팅하려는데..힘들군요 ㅠㅠ마크다운도 안먹히는군요 ㄲㄲ ## Mongo DB site https://www.mongodb.com/ ## Mongo DB란?MongoDB stores data는 JSON과 같은 동적스키마형태의 문서들인데 다양한 구조를 가질수 있다.MongoDB에서는 이러한 구조를 BSON이라고 부른다.이해를 더 돕기 위해 아래의 MySql과 Mongo DB의 비교한 그림을 보자. 또한 각각의 특징을 살펴보자. 몽고DB site에 있는 내용이라서 그런지..어마무시하다 ㅋㅋ 음..MongoDB를 살짝 맛보자! 위의 내용으로 보면 api는 select를 logstash에서는 insert와 update가 일어나야하는데 가능여부는 찾아보아야 한다...
2016.03.15