sbt lib 연동 안되는 현상

not found!! dependency에는 있는데 not found....sbt가 꼬인듯 하다..ㅠㅠ 이럴땐? 다시 셋팅 하자..

SBT버전이 중요! 너무 낮거나 높으면 인텔리J에서 제대로 못가져옴.-_-;;

Scala/Spark 버전은 사내 분산 클러스터에 맞게 적용.

build.sbt 내용

name := "neosite-data" version := "0.1" scalaVersion := "2.11.11" val sparkVersion = "1.6.2" libraryDependencies ++= Seq("org.scala-lang.modules" %% "scala-parser-combinators" % "1.1.0",   "org.scalatest" %% "scalatest" % "3.0.5" % "test",   "org.apache.spark"      %%  "spark-core"        % sparkVersion % "provided",   //   "org.apache.spark" %% "spark-sql" % sparkVersion,   "mysql"           %  "mysql-connector-java" % "5.1.+",   "com.typesafe.play" %% "play-json" % "2.6.10",   "com.google.code.gson" % "gson" % "1.7.1",   "com.typesafe"    %  "config"               % "1.3.0",   "org.scalikejdbc" %% "scalikejdbc"          % "2.3.5",   "org.scalikejdbc" %% "scalikejdbc-config"   % "2.3.5",   "org.scalikejdbc" %% "scalikejdbc-test"     % "2.3.5"     % "test",   "ch.qos.logback"  %  "logback-classic"      % "1.1.6" )

결과

테스트

warn등을 발견할 수 있다.

하라는데로 1.0.4로 수정 후 다시 sbt를 돌려보자.(scala-parser-combinators 1.0.4로 수정.)

수정 후 결과

이제 환경이 구축 되었다.

자기 입맛에 맞게 개발하면 된다.

내가 해야 할 것

1. hdfs 연동. 즉, 다른쪽에 저장되어있는 친구를 불러온다(raw data)
2. Spark 분석(map-reduce)
3. Mysql에 저장.
1. scala application.conf의 정보 읽어와서 JDBC 접속 후 INSERT 등 수행.

---

OH MY GOD~~~

sbt lib 연동이 안되어지는 현상.. 원인은 바로...
jar 파일들이 포함이 되이 않아서이다..

그러므로 plugins.sbt 에 아래와 같이 addSbtPlugin을 추가 후 sbt clean compile assembly 를 해주어야 한다.
버전은 spark에 맞게 해줘야 합니다.

logLevel := Level.Warn   addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.5")