2021/06(9)
-
curl 명령어 사용시 정보 없이 조회 하는 방법
아래와 같이 curl로 찔러보았다! curl -XGET ${TARGET_URL} >> ${ERROR_OUTPUT_FILE_PATH} 2>&1 JSON형태만 저장되길 바랬는데..아래와 같이 원하지 않는 정보가 함께 파일에 쌓였다. % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed ^M 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0 보이지 않기 위해서는 아래와 같이 -s, --silent 옵션을 사용하면 된다. curl -s -XGET ${TARGET_URL} >> ${ERROR_OUTPUT_FILE_PATH} 2>&1 아래와 같이 깔끔하게 저장되..
2021.06.28 -
es 버전이 낮으면..
주저리 es버전..1.2.1 완전 오래된..버전을 사용하면.. 공용으로 사용하는 spark 2.4.5 / scala 2.12 / elastic lib 버전 문제로 온갖 삽질 다함... es 버전을 못올리는 상황이라면? 공용 spark쪽 사용 X es lib를 버전업 못한다면 자체 개발 -> springboot + springdata + elasticsearch로 개발 으악! 이것도 역시나 버전문제 발생.. 그래서 방향 다시 틀었다. REST api를 curl로 찔러서 파일로 다운. 이 파일을 자바에서 처리 하는걸로! 운영업무에 있어서 버전관리가 가장 큰 문제구나..
2021.06.27 -
[Spark-Study] Day-2 예제 돌려보기
p31 The Spark UI 저번시간 스파크 셋팅 이후 cd /usr/local/Cellar/apache-spark/3.1.1/bin에 가서 spark-shell을 실행 시켜준다. spark-shell 아래와 같이 환영 해줌! ㅋㅋ To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Spark context Web UI available at http://아이피나옴:4040 Spark context available as 'sc' (master = local[*], app id = local-1624457045234). Spark session available as 'spark'. Wel..
2021.06.24 -
[error] SERVER ERROR: Service Unavailable url=블라블라
Error.. not found 에러! 15:54:42.639 [warn] :::::::::::::::::::::::::::::::::::::::::::::: 15:54:42.640 [warn] :: UNRESOLVED DEPENDENCIES :: 15:54:42.640 [warn] :::::::::::::::::::::::::::::::::::::::::::::: 15:54:42.640 [warn] :: net.databinder.dispatch#dispatch-core_2.12;0.11.2: not found 15:54:42.640 [warn] :: org.scalatest#scalatest_2.12;2.2.4: not found 15:54:42.640 [warn] :: org.apache.spark..
2021.06.14 -
[Spark-Study] Day-1 스파크 셋팅
mac에 아파치 스파크 설치 - brew info apache-spark - brew install apache-spark 3.1.1 셋팅 완료! 스파크는 아래와 같이 다양하게 사용이 가능하다! Spark Job Spark Stages - Job -> stage 즉, 각 Job마다 Stage가 parallel 하게 또한 연속적인 형태로 붙을 수 있다. - 스터디 시 그림만 보고 Job은 parallel하게 되고 연속적인 Single Stage가 호출 되는줄 오해 했음. Spark Tasks 최종적으로 머릿속에 큰 그림이 그려지는가? Spark 아키텍처 콜? Transformations, Actions, and Lazy Evaluation 각각의 특징을 설명할 수 있는가? Transformations와 A..
2021.06.14 -
notion(생각정리~업무생산성,현업관리 도구!)
도서관에서 책 빌리는데 노션이라는 책을 발견! 에버노트와 부스트 노트를 사용하고 있었는데 더 기능이 좋은거 같아서 셋팅 해보기로 함! 아래 다운로드 링크! https://www.notion.so/ko/desktop Notion – 메모, 작업, 위키, 데이터베이스를 위한 올인원 워크스페이스. 매일 쓰는 여러 업무용 앱을 하나로 합친 새로운 도구. 당신과 당신의 팀을 위한 올인원 워크스페이스예요. www.notion.so 과연 좋을라나~ㅎㅎㅎ 팁 : 맥북에 셋팅하는데 Intel 프로세서를 탑재한 맥용으로 다운로드 해야 설치가 가능했다.
2021.06.13