Study/Study group(34)
-
[Spark-Study] Day-7 spark-shell을 통한 실습
2021.08.19 - [Study/Study group] - [Spark-Study] Day-6 저번 시간에 55p 실습하다 잘 안되는 부분 다시 츄라이~ spark-shell을 통해 코딩! terrypark ~ master spark-shell 21/08/26 10:19:58 WARN Utils: Your hostname, acetui-MacBookPro.local resolves to a loopback address: 127.0.0.1; using 172.27.114.231 instead (on interface en0) 21/08/26 10:19:58 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address WA..
2021.08.26 -
[Spark-Study] Day-6 DataFrame Api
The DataFrame API spark-shell을 실행 /usr/local/Cellar/apache-spark/3.1.2/bin/spark-shell Spark context available as 'sc' (master = local[*], app id = local-1629336161368). Spark session available as 'spark'. Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 3.1.2 /_/ Using Scala version 2.12.10 (OpenJDK 64-Bit Server VM, Java 11.0.10) Type in expres..
2021.08.19 -
EPI group
스터디 인원 총 3명 : 태하, 웅기, 낭도 스터디 목표 1. 태하 : 스터디를 통해 개발에 대한 동기부여 및 개인역량 증진! 2. 웅기 : 3. 낭도 : 스터디 방식 어떻게 할까? 1. 태하 : 포트폴리오(최종산출물) 설정 -> 필요한 것들 스터디 하는 방식(개별) 2. 웅기 : java 기본 개념 잡고 3. 낭도 : Blog 정보 태하 : https://acet.pe.kr/ 웅기 : https://roobi-story.tistory.com/
2021.07.27 -
[Spark-Study] Day-2 예제 돌려보기
p31 The Spark UI 저번시간 스파크 셋팅 이후 cd /usr/local/Cellar/apache-spark/3.1.1/bin에 가서 spark-shell을 실행 시켜준다. spark-shell 아래와 같이 환영 해줌! ㅋㅋ To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Spark context Web UI available at http://아이피나옴:4040 Spark context available as 'sc' (master = local[*], app id = local-1624457045234). Spark session available as 'spark'. Wel..
2021.06.24 -
[Spark-Study] Day-1 스파크 셋팅
mac에 아파치 스파크 설치 - brew info apache-spark - brew install apache-spark 3.1.1 셋팅 완료! 스파크는 아래와 같이 다양하게 사용이 가능하다! Spark Job Spark Stages - Job -> stage 즉, 각 Job마다 Stage가 parallel 하게 또한 연속적인 형태로 붙을 수 있다. - 스터디 시 그림만 보고 Job은 parallel하게 되고 연속적인 Single Stage가 호출 되는줄 오해 했음. Spark Tasks 최종적으로 머릿속에 큰 그림이 그려지는가? Spark 아키텍처 콜? Transformations, Actions, and Lazy Evaluation 각각의 특징을 설명할 수 있는가? Transformations와 A..
2021.06.14 -
k8s 스터디 흔적
kubectl 롤링 업데이트 해보기! img만들고 docker build -t idock.xxx.io/teri_epi/kubia:v1 docker build -t idock.xxx.io/teri_epi/kubia:v2 docker hub에 push docker push idock.xxx.io/teri_epi/kubia:v1 docker push idock.xxx.io/teri_epi/kubia:v2 k : kubectl / rolling update! k rolling-update kubia-v1 kubia-v2 --image=idock.daumkakao.io/teri_epi/kubia:v2 kubectl 롤링 업데이트는 더이상 사용되지 않는다. Why? -> 더 나은 업데이트 방법이 존재! kubect..
2020.10.22