Ace-T's Blog 내 검색 [네이버 커넥트 이웃 합니다~^-^/ 요청 大 환영~~]

spark log4j 사용해보기!

BigDATA/spark 2016.07.04 15:35
[Good Comment!!, Good Discussion!!, Good Contens!!]
[ If you think that is useful, please click the finger on the bottom~^-^good~ ]
by ace-T


구조는 아래와 같습니다.

  • assembly.jar              // assembly한 소스! jar
  • spark-submit.sh         // spark-submit의 내용이 있는 shellscript
  • log4j-acet.properties  // 우리가 사용하는 log4j.properties


아래의 spark-submit 에서 아래의 옵션을 2가지 추가 해줍니다.(즉, spark-submit.sh안에서!)

예시)

LOG_PATH=file:/full path를 적어줍니다./log4j-acet.properties

$SPARK_HOME/bin/spark-submit --class "Main" \

    --conf spark.executor.extraJavaOptions="-Dlog4j.configuration=$LOG_PATH" \

    --driver-java-options "-Dlog4j.configuration=$LOG_PATH" \



필요없는 설정들

1) main> resources 에 설정 필요 X

2) sbt에 아래의 설정 필요 X

//  "org.slf4j" % "slf4j-api" % "1.7.21",
// "org.slf4j" % "log4j-over-slf4j" % "1.7.12",


 - 끝 -

저작자 표시 비영리 변경 금지
신고

acet 박태하가 추천하는 readtrend 추천글!

설정

트랙백

댓글

:::: facebook을 이용하시는 분들은 로그인 후 아래에 코멘트를 남겨주세요 ::::

티스토리 툴바