spark와 친해지기!
2016. 3. 22. 18:35ㆍBigDATA/spark
반응형
아마 아래와 같은 형태가 될것 같다.
sparkContext 클래스는 스파크클러스터의 연결과 스파크와 연동할 수 있는 엔트리 포인트를 제공.
인스턴스를 생성하여 다양한 일을할 수 있다.
spark RDD : RDD(resilient distributed dataset)를 활용하면 데이터의 병렬처리를 쉽게할 수 있다.
spark 참고 사이트!!
반응형
'BigDATA > spark' 카테고리의 다른 글
| spark log4j 사용해보기! (0) | 2016.07.04 |
|---|---|
| spark logback 설정? (0) | 2016.06.29 |
| spark-submit 옵션 관련 (0) | 2016.05.16 |
| ERROR SparkUncaughtExceptionHandler: Uncaught exception in thread Thread (0) | 2016.05.11 |
| spark + scala + sbt 프로젝트!! (0) | 2016.03.22 |