Welcome to AceT's Blog(865)
-
if~else + 하루 이전 날짜 구하기!
배치Job에서 수동 또는 자동으로 처리하기 위해서 분기처리가 필요하였다.예시if [ $2 == 0 ]; then export ANAL_DATE=$(date +%Y%m%d --date '1 days ago') echo $(date +%Y%m%d --date '1 days ago')else export ANAL_DATE=$2fi date +%Y%m%d 이 표현이 현재날짜!하루전 날짜는 date +%Y%m%d --date '1 days ago' 끄읏~
2019.01.23 -
-bash: unzip: command not found
[코레일 클럽! ㅋㅋㅋㅋ] unzip conf.zip-bash: unzip: command not found yum install -y unzip zipLoaded plugins: fastestmirror, versionlockRepodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fastYou need to be root to perform this command. Install yum-cron? Or run: yum makecache fast을 하라고 해서 아래처럼 수행. $ yum makecache fastLoaded plugins: fastestmirror, versionlockRepodata is over 2 weeks old..
2019.01.23 -
SBT + ANSIBLE
빌드서버에서 빌드 후 배포(배치 서버로) build는 shell을 통해 처리 하였다. (음..뭔가 ansible style은 아니다..ㅠㅠ 책을 사서 좀 더 파봐야겠다.)- name: Execute sbt build shell: | cd {{ build_home }}/{{ build_id }} pwd ./sbt.sh sbt.sh에서는 sbt를 통해 명령어로 처리! sbt가 export가 잘안되어서 그냥 절대경로로 처리!/daum/program/sbt/bin/sbt clean assembly deploy는 간단히 copy해주는 형식으로 처리 하였다. 즉, local jar를 deploy할 서버로 카피!--- - hosts : spark serial : 1 tasks : - name : Make data d..
2019.01.23 -
2018년 12월 24일 차 구입!!
자동차세 연납하면 10% 감면 해준다한다. 손 쉽게 앱으로 해보자~
2019.01.16 -
HDFS부터 DB까지 팁 아닌 팁~
스칼라 알못 스파크 알못이라..이번에 작업한 내용이 있는데 삽질을 많이 했다...ㅋㅋ 생각나는 것들을 적어보자. HDFS를 가져와 RDD에 저장! sc.textFile을 통해서 HDFS를 가져온다. sc.textFile("hdfs path") 그런데 그냥 가져오면 소용이 없다. 그러므로 map을 통해서 필요한 친구들만 가져온다. 또한 filter를 통해 데이터를 줄여준다.ex) hdfs의 포맷이 Json이라서 Gson을 사용. filter를 통해 데이터를 줄여준다. val rddRaw0 = sc.textFile("hdfs path").map(line => new Gson().fromJson(line, classOf[TestObject])).filter(line=> line.collection.code.c..
2019.01.15 -
java.sql.SQLException: No value specified for parameter 3
해당 에러는 scala + mysql에서 insert + update를 하고자할 때 났다.쿼리 스트링은 아래와 같다.val insertSql = """ |insert into 테이블 (name, age ) |values (?,?) |ON DUPLICATE KEY UPDATE name = ?, age =? """.stripMarginjava.sql.SQLException: No value specified for parameter 3에러는 아래에서 코드가 추가되지 않아서였다.targetList.foreach { t => val name = t._1 val age = t._2 if (age > 20){ insertStmt.setString(1, name) insertStmt.setInt(2, age) ins..
2019.01.09