spark log4j 사용해보기!

구조는 아래와 같습니다.

• assembly.jar              // assembly한 소스! jar
• spark-submit.sh         // spark-submit의 내용이 있는 shellscript
• log4j-acet.properties  // 우리가 사용하는 log4j.properties

아래의 spark-submit 에서 아래의 옵션을 2가지 추가 해줍니다.(즉, spark-submit.sh안에서!)

예시)

LOG_PATH=file:/full path를 적어줍니다./log4j-acet.properties

$SPARK_HOME/bin/spark-submit --class "Main" \

    --conf spark.executor.extraJavaOptions="-Dlog4j.configuration=$LOG_PATH" \

    --driver-java-options "-Dlog4j.configuration=$LOG_PATH" \

필요없는 설정들

1) main> resources 에 설정 필요 X

2) sbt에 아래의 설정 필요 X

//  "org.slf4j" % "slf4j-api" % "1.7.21",
//  "org.slf4j" % "log4j-over-slf4j" % "1.7.12",

 - 끝 -