Data Platform/spark
spark와 친해지기!
태하팍
2016. 3. 22. 18:35
반응형
아마 아래와 같은 형태가 될것 같다.
sparkContext 클래스는 스파크클러스터의 연결과 스파크와 연동할 수 있는 엔트리 포인트를 제공.
인스턴스를 생성하여 다양한 일을할 수 있다.
spark RDD : RDD(resilient distributed dataset)를 활용하면 데이터의 병렬처리를 쉽게할 수 있다.
spark 참고 사이트!!
반응형