본문 바로가기
Study/Study group

[Spark-Study] Day-1 스파크 셋팅

by 태하팍 2021. 6. 14.
반응형

mac에 아파치 스파크 설치
- brew info apache-spark
-  brew install apache-spark
3.1.1 셋팅 완료!

스파크는 아래와 같이 다양하게 사용이 가능하다!

 

 

Spark Job

Spark Stages
- Job -> stage 즉, 각 Job마다 Stage가 parallel 하게 또한 연속적인 형태로 붙을 수 있다.
- 스터디 시 그림만 보고 Job은 parallel하게 되고 연속적인 Single Stage가 호출 되는줄 오해 했음.

 

Spark Tasks

최종적으로 머릿속에 큰 그림이 그려지는가? Spark 아키텍처 콜?

Transformations, Actions, and Lazy Evaluation
각각의 특징을 설명할 수 있는가?

Transformations와 Action의 차이는?

Narrow and Wide Transformations의 차이?

 

두번째 스터디는 6월24일(목)!  
위의 질문들을 답하지 못한다면 다시 보자!

-끝-

반응형

'Study > Study group' 카테고리의 다른 글

EPI group  (0) 2021.07.27
[Spark-Study] Day-2 예제 돌려보기  (3) 2021.06.24
k8s 스터디 흔적  (0) 2020.10.22
2020.07.16 스터디  (0) 2020.07.16
JBUG- Collection  (0) 2014.07.30