[Spark-Study] Day-1 스파크 셋팅

mac에 아파치 스파크 설치
- brew info apache-spark
-  brew install apache-spark
3.1.1 셋팅 완료!

스파크는 아래와 같이 다양하게 사용이 가능하다!

 

 

Spark Job

Spark Stages
- Job -> stage 즉, 각 Job마다 Stage가 parallel 하게 또한 연속적인 형태로 붙을 수 있다.
- 스터디 시 그림만 보고 Job은 parallel하게 되고 연속적인 Single Stage가 호출 되는줄 오해 했음.

 

Spark Tasks

최종적으로 머릿속에 큰 그림이 그려지는가? Spark 아키텍처 콜?

Transformations, Actions, and Lazy Evaluation
각각의 특징을 설명할 수 있는가?

Transformations와 Action의 차이는?

Narrow and Wide Transformations의 차이?

 

두번째 스터디는 6월24일(목)!  
위의 질문들을 답하지 못한다면 다시 보자!

-끝-