반응형 직장이 아닌 직업을 가지자!719 초 간단 Apache Storm 맛보기(셋팅) Apache Storm을 셋팅하기 위해서 필요한 것은? 1. Open Jdk 2. Zookeeper 3. Apache Storm 4. Python Jdk와 Python은 서버에 맞게 잘 찾아서 셋팅 해준다. :) 이 포스팅에서는 pass~ 이제! 이 포스팅에서 다룰 주키퍼와 아파치 스톰! 셋팅을 시작해보자~ Zookeeper Setting download : wget http://mirror.apache-kr.org/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz 압축해제 : tar xvfz apache-zookeeper-3.5.8-bin.tar.gz 심볼릭 링크 센스 : ln -s apache-zookeeper-3.5.8-bin zookeepe.. 2020. 5. 19. repository does not exist or may require 'docker login' k8s 상황은 이러하다. 1. Dockerfile로 이미지를 만들었다. Dockerfile + docker build 명령어 -> 이미지 뿅~ docker build -t xxxx:v0.1 . 2. docker images로 만들어진 이미지를 확인. 3. docker tag로 tag변경 가능. 4. docker push로 docker hub에 push!! docker push xxxx:v0.1 k8sdev.yaml apiVersion: apps/v1 kind: Deployment metadata: name: tomcat-deployment labels: app: tomcat spec: replicas: 1 selector: matchLabels: app: tomcat template: metadata: labe.. 2020. 2. 20. docker hub login시 error 발생! docker login시에 error가 발생 하였다. Error saving credentials: error storing credentials - err: exit status 1, out: `error storing credentials - err: exit status 1, out: `The user name or passphrase you entered is not correct. ~/.docker/config.json { "auths" : { }, "credSstore" : "osxkeychain", "credsStore" : "desktop", "stackOrchestrator" : "swarm" } 다른 사람들과 config.json의 내용 또한 달랐다. 해결 방법 first rm /usr.. 2020. 1. 29. const definitions are not supported by current javascript version VueJs 셋팅 시 IntelliJ에서 나오는 오류! 해결 방법은 아래와 같이 자바스크립트 버전을 변경하여 주면 된다! 끝~ 2019. 6. 12. sourceTree 새로 설치 한 후 password를 지속적으로 묻는 경우 github > SSH and GPG keys를 설정해줬는데도 자꾸 패스워드를 물었다... cmd창에서 git config --global credential.helper osxkeychain 이 명령어를 통해 해결 하였다. 굳! 2019. 6. 4. [acet-#2] Vue.js 무작정 해보기(용어 등 훝어보기!) # 바로 코딩을 해보고 싶으신 분은 jsfiddle로 쉽게 해볼수 있습니다. https://jsfiddle.net/chrisvfritz/50wL7mdz/ # Vue.js의 특징으로 단일 파일 컴포넌트를 들수 있다. Componet System : Vue의 또 다른 중요한 개념. # 호환성 Vue는 ECMAScript5 기능을 사용 -> IE8 이하 버전을 지원하지 않습니다. 하지만 모든 ECMAScript5 호환 브라우저를 지원합니다. # Vue Devtools * https://github.com/vuejs/vue-devtools#vue-devtools vuejs/vue-devtools ⚙️ Browser devtools extension for debugging Vue.js applications. .. 2019. 6. 4. [acet-#1] Vue.js 무작정 해보기(기본-Vue.js? 좋은거? 먹는거?) 공식 홈피 https://vuejs.org/ 한국어버전 : https://kr.vuejs.org/v2/guide/index.html Vue.js Vue.js - The Progressive JavaScript Framework vuejs.org 구글트렌드 Vue.js를 왜 써야하나? 엄청 복잡하게 코딩을 했던 옛날! 이제는 Vue.js같은 프레임워크를 통해 빠르고 쉽게 코딩이 가능하다. 프레임워크에는 angularJS, react등도 있지만 Vue.js는 아래와 같은 특징이 있다고 한다. 약팔기(?) 접근하기 용이! 러닝커브도 낮다?! 레알? 다목적, 다용도의 고성능! 유지할 수 있는 테스트 가능한 angularJS랑 비슷한 느낌같은데.. 컴포넌트가 매우 중요한 개념인듯 싶다. 아래처럼 html, js,.. 2019. 5. 31. 맥북 scp 서버 -> 로컬(port 22: Connection refused) mac에는 기본적으로 ssh가 셋팅되어있다. 22 port를 열어주기 위해 아래와 같이 공유를 클릭 한뒤 원격 로그인을 체크 해준다! 그리고 서버에서 로컬로 scp명령어를 통해 접근하면 된다! 끝 2019. 5. 27. org.apache.catalina.LifecycleException: Failed to start component JDK8을 사용 중이였는데 오류가 나서 톰캣 7에서 8로 변경 해주니 잘되었다. servlet-api.jar 버전 문제인것 같다.(참고 : https://okky.kr/article/266796) jar를 교체하지 않고 7에서 그냥 8로 톰캣을 교체했다. ㅋㅋ 끝~ 2019. 5. 10. intellij X tomcat webapps 연결하기 이번에 뉴맥북을 신청하여 바꿨다. 인텔리J를 깔고 맡은 프로젝트들을 하나하나씩 옮기고 톰캣을 연동하는데..!! War까지는 만들어지는데 요녀석이 tomcat webapps에 안가는것이다. -_- 딥빡쓰.. 그래서 이것저것 해보다보니..아래와 같이 해주니 되었다. Output directory를 톰캣 webapps로 맞춰주면 된다. 참고사항으로~알아두면 좋을것 같은! 웹 애플리케이션을 배포하기 위한 패키징 유형 package(archive) 아카이브(.war, .ear) 파일로 배포 아카이브는 WAS(Tomcat)에 의해 압축이 풀린다. 파일이 많은 경우 압축을 푸는 시간이 오래 걸릴 수 있다. 원격 서버에 배포시 한 개의 파일만 전송하면 된다. WAS(Tomcat)에서 제공하는 업로드를 통한 배포 기능을.. 2019. 4. 12. DigiCert SSL 인증서 미국정부기관에서 공식 인정하는 인증기관 중 하나이며 미국, 유럽, 중국에서는 하이엔드(High-end) 인증서 발급회사로 인지도 높은 브랜드입니다.또한 2017년 12월 세계1위 보안회사의 SSL PKI사업부를 인수 하고 2018년 10월 성공적인 인수 합병을 완료 하며 SSL 인증서는 세계 1위의 위치로 확고히 자리 매김 했습니다. Tip. 발급자 확인$ openssl x509 -in 도메인 -issuer -noout issuer= /C=US/O=DigiCert Inc/OU=www.digicert.com/CN=Thawte TLS RSA CA G1참고 : https://security.googleblog.com/2018/03/distrust-of-symantec-pki-immediate.html출처 : .. 2019. 2. 25. 리눅스 크론탭 주기 설정 * * * * *????What??????크론탭 주기 설정에서의 별표의 내용은 아래와 같다. * * * * *분(0-59) 시간(0-23) 일(1-31) 월(1-12) 요일(0-7) 매 분마다 수행하려면?답 : * * * * * 10,20,30 * * * * 은? 답 : 10분, 20분, 30분 마다 수행! 범위 수행은??답: 10-30 3 * * * 매일 1시 10분~30분까지 매분 마다 수행! 매 10분마다 수행은??답 : */10 * * * * 특정 시간 수행은?10 3 * * 1 = ????답 : 10분 3시 월요일(1부터 월요일!) 즉 매주 월요일 3시 10분 마다 수행! 2019. 1. 23. if~else + 하루 이전 날짜 구하기! 배치Job에서 수동 또는 자동으로 처리하기 위해서 분기처리가 필요하였다.예시if [ $2 == 0 ]; then export ANAL_DATE=$(date +%Y%m%d --date '1 days ago') echo $(date +%Y%m%d --date '1 days ago')else export ANAL_DATE=$2fi date +%Y%m%d 이 표현이 현재날짜!하루전 날짜는 date +%Y%m%d --date '1 days ago' 끄읏~ 2019. 1. 23. -bash: unzip: command not found [코레일 클럽! ㅋㅋㅋㅋ] unzip conf.zip-bash: unzip: command not found yum install -y unzip zipLoaded plugins: fastestmirror, versionlockRepodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fastYou need to be root to perform this command. Install yum-cron? Or run: yum makecache fast을 하라고 해서 아래처럼 수행. $ yum makecache fastLoaded plugins: fastestmirror, versionlockRepodata is over 2 weeks old.. 2019. 1. 23. SBT + ANSIBLE 빌드서버에서 빌드 후 배포(배치 서버로) build는 shell을 통해 처리 하였다. (음..뭔가 ansible style은 아니다..ㅠㅠ 책을 사서 좀 더 파봐야겠다.)- name: Execute sbt build shell: | cd {{ build_home }}/{{ build_id }} pwd ./sbt.sh sbt.sh에서는 sbt를 통해 명령어로 처리! sbt가 export가 잘안되어서 그냥 절대경로로 처리!/daum/program/sbt/bin/sbt clean assembly deploy는 간단히 copy해주는 형식으로 처리 하였다. 즉, local jar를 deploy할 서버로 카피!--- - hosts : spark serial : 1 tasks : - name : Make data d.. 2019. 1. 23. HDFS부터 DB까지 팁 아닌 팁~ 스칼라 알못 스파크 알못이라..이번에 작업한 내용이 있는데 삽질을 많이 했다...ㅋㅋ 생각나는 것들을 적어보자. HDFS를 가져와 RDD에 저장! sc.textFile을 통해서 HDFS를 가져온다. sc.textFile("hdfs path") 그런데 그냥 가져오면 소용이 없다. 그러므로 map을 통해서 필요한 친구들만 가져온다. 또한 filter를 통해 데이터를 줄여준다.ex) hdfs의 포맷이 Json이라서 Gson을 사용. filter를 통해 데이터를 줄여준다. val rddRaw0 = sc.textFile("hdfs path").map(line => new Gson().fromJson(line, classOf[TestObject])).filter(line=> line.collection.code.c.. 2019. 1. 15. java.sql.SQLException: No value specified for parameter 3 해당 에러는 scala + mysql에서 insert + update를 하고자할 때 났다.쿼리 스트링은 아래와 같다.val insertSql = """ |insert into 테이블 (name, age ) |values (?,?) |ON DUPLICATE KEY UPDATE name = ?, age =? """.stripMarginjava.sql.SQLException: No value specified for parameter 3에러는 아래에서 코드가 추가되지 않아서였다.targetList.foreach { t => val name = t._1 val age = t._2 if (age > 20){ insertStmt.setString(1, name) insertStmt.setInt(2, age) ins.. 2019. 1. 9. sbt lib 연동 안되는 현상 not found!! dependency에는 있는데 not found....sbt가 꼬인듯 하다..ㅠㅠ 이럴땐? 다시 셋팅 하자.. SBT버전이 중요! 너무 낮거나 높으면 인텔리J에서 제대로 못가져옴.-_-;; Scala/Spark 버전은 사내 분산 클러스터에 맞게 적용. build.sbt 내용 name := "neosite-data" version := "0.1" scalaVersion := "2.11.11" val sparkVersion = "1.6.2" libraryDependencies ++= Seq("org.scala-lang.modules" %% "scala-parser-combinators" % "1.1.0", "org.scalatest" %% "scalatest" % "3.0.5" % "t.. 2019. 1. 4. spark rdd programining https://spark.apache.org/docs/latest/rdd-programming-guide.htmlspark rddOverviewAt a high level, every Spark application consists of a driver program that runs the user’s main function and executes various parallel operations on a cluster. The main abstraction Spark provides is a resilient distributed dataset (RDD), which is a collection of elements partitioned across the nodes of the cluster th.. 2018. 12. 30. [mysql] select 한것 update하기 Mysql에서~ SELECT 를 하여 원하는 테이블의 필드에 데이터를 채우고자 했다.같은 테이블일 경우UPDATE 테이블명SET 데이터 들어갈 필드 = 데이터있는필드WHERE 조건문 블라블라 다른 테이블일 경우UDATE 테이블1, 테이블2SET 테이블1.필드 = 테이블2.필드WHERE 조건문 블라블라 작업전엔~SELECT로 확인 후 작업이 센스~ 2018. 11. 23. mysql Lock wait timeout exceeded; try restarting transaction: Timeout on record in index: error Lock wait timeout exceeded; try restarting transaction: Timeout on record in index: solutionshow processlist;kill ; 참고 사이트 : https://stackoverflow.com/questions/5836623/getting-lock-wait-timeout-exceeded-try-restarting-transaction-even-though-im 2018. 10. 30. 이전 1 ··· 7 8 9 10 11 12 13 ··· 35 다음 반응형
