본문 바로가기
반응형

전체 글739

리눅스 - scp file copy 아주 오래전 개발소스나 파일들을 서버에 옮기기 위해서는 FTP 툴을 이용하여 옮기곤 하였습니다.이제는 맥북도 많이들 사용하시고 서버에서 다른 서버로 파일을 옮길때 많이 사용되는 명령어를 알아보겠습니다. 방법 01. 서버에서 로컬에것 가져오기 - 서버에서 수행scp -P 22 로컬계정@로컬아이피:/Users/terrypark/app/xxx/acetManager.jar ./ 방법 02. 로컬에서 서버로 보내기 - local에서 수행scp acet.war serverId@acet-dev.kakao.io:/daum/program/tomcat/ 2017. 1. 22.
top 명령&옵션 top 명령 실행시 추가할 수 있는 옵션 * (top) -d [sec]: 설정된 초단위로 Refresh * (top) -c : command뒤에 인자값 표시top 명령 실행 후 사용할 수 있는 옵션 * shift + t : 실행된 시간이 큰 순서로 정렬 * shift + m : 메모리 사용량이 큰 순서로 정렬 * shift + p : cpu 사용량이 큰 순서로 정렬 * k : Process 종료 o k 입력 후 종료할 PID를 입력한다 o signal을 입력하라 표시되면 9를 넣어준다 * c : 명령 인자 표시 / 비표시 * l(소 문자엘) : uptime line(첫번째 행)을 표시 / 비표시 * space bar : Refresh * u : 입력한 유저 소유의 Process만 표시 o which us.. 2016. 12. 21.
하둡명령어로 삭제하기(fs -rm) 하둡 hdfs 삭제 하기! #!/bin/bash # 주기적으로 hdfs 데이터를 삭제한다. # crontab 에 등록하여 실행시킨다. # 2일 전 데이터 삭제 date=`date -d "2 days ago" "+%Y%m%d"` /home/acet/program/hadoop/bin/hadoop fs -rm -r -skipTrash "/HADOOP경로/하둡path/*.txt.$date*" # 하둡 temp 데이터 삭제 find /home/acet/data/ -ctime +2 -type f -exec rm -f {} \; 2016. 12. 6.
e-mail 한글 깨짐 현상 Problem : e-mail 한글 깨짐 현상 - setting my html encoding : meta http-equiv="Content-Type" content="text/html; charset=utf-8" 현재 이메일을 전송시에 클라이언트에서 한글이 깨져보이거나 정상적으로 보이거나 하는 현상이 있다. What is Content-Type?A Content-Type tells the web browser or email application how to interpret the text characters in your HTML or the body of the email. The most popular character sets are UTF-8 and ISO-8859-1. Where does.. 2016. 12. 2.
Study - JPA 소개 주저리 > 보통 Web Project를할 때 MVC 패턴과 더불어 SQL Mapper인 ibatis, mybatis등을 많이 사용하였습니다.지금 회사에서도 mybatis가 사용된 프로젝트들이 대다수 입니다.필드 하나가 추가 되면 dto(vo)를 비롯한 sql등을 수정해주어야하는.. 즉, MVC pattern : View - Controller - Service - Repository(Dao) - SQL까지 전체적인 수정을 요합니다.이런 노가다적이고 복잡한 것을 JPA에서는 객체모델링을 기반으로 풀어나간다고 합니다.db 모델링 기반이 아닌 object 모델링!! 정말 가능한지 한번 알아보겠습니다. JPA는 무엇인가?풀어서 알아보면! Java Persistence Api~~자바 진영의 ORM 기술 표준이다... 2016. 11. 28.
Crontab을 이용해보자! 크론탭 파일 생성 및 삭제 등 설명!출처 : https://docs.oracle.com/cd/E24846_01/html/E23088/enmwx.html 2016. 11. 11.
spark-submit deploy-mode option Client modeWant to get a job result (dynamic analysis)Easier for developping/debuggingControl where your Driver Program is runningAlways up application: expose your Spark job launcher as REST service or a Web UICluster modeEasier for resource allocation (let the master decide): Fire and forgetMonitor your Driver Program from Master Web UI like other workersStop at the end: one job is finished, a.. 2016. 11. 2.
hadoop distcp $ ./hadoop distcpusage: distcp OPTIONS [source_path...] OPTIONS -append Reuse existing data in target files and append new data to them if possible -async Should distcp execution be blocking -atomic Commit all changes or none -bandwidth Specify bandwidth per map in MB -delete Delete from target, files missing in source -diff Use snapshot diff report to identify the difference between source and .. 2016. 10. 28.
/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory problemjava -version-bash: /acet/program/jdk/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory solution$ yum -y install glibc.i686Loaded plugins: fastestmirror, securityYou need to be root to perform this command.[deploy@lineup-data-krane program]$ sudo yum -y install glibc.i686Loaded plugins: fastestmirror, securitySetting up Install ProcessLoading mirror speeds from .. 2016. 10. 27.
2탄. SPARK를 설치해보자~(클러스터) 2016/10/18 - [BigDATA/spark] - 1탄. SPARK를 설치해보자~ 1탄. 단일모드 2탄. 클러스터 모드 3탄. 기타 유용 셋팅(스파크 관련) 우선 분산 클러스터로 셋팅하기전에! 요것만큼은 알고가자는 의미에서 살짝 정리해본다.1. Spark 구조(펌: https://www.google.co.kr/search?q=spark+%EA%B5%AC%EC%A1%B0&newwindow=1&biw=1598&bih=976&source=lnms&tbm=isch&sa=X&sqi=2&ved=0ahUKEwi1y4ut0ObPAhWqiVQKHWFaDgcQ_AUIBigB&dpr=1#imgrc=EdvQ87Vu0XWkMM%3A) 여기에서 Stand alone Scheduler , YARN, Apache Mesos는 .. 2016. 10. 19.
1탄. SPARK를 설치해보자~ 해당 포스팅은 총 3부로 구성될 예정 입니다.1탄. 단일모드 2탄. 클러스터 모드3탄. 기타 유용 셋팅(스파크 관련) 1탄. SPARK를 설치해보자~ Apache Spark 설치! 버전은 1.6.1 / hadoop 2.6으로 해서 다운받아보겠습니다. (현업에서 사용중인게 요거라서 요걸로!)Step 1. 아래의 링크를 통해 스파크를 다운 받아보자!http://spark.apache.org/downloads.html Step 2. down을 받아서 원하는 서버에서 압축을 풀어줍니다.압축을 해제하고 내용을 보면 아래와 같습니다. Step 3. Spark는 대화형 쉘들을 제공 합니다.파이썬과 스칼라가 있는데요 즉석 데이터를 분석하기에 좋습니다.실행은?1) 파이썬 쉘 ㄴ bin directory에 가서 ./pys.. 2016. 10. 18.
python 2.7 한글처리 문제 위의 코드는 print unicode(line) 으로 출력시 오류가 발생 함. print unicode(line, 'cp949')한글 처리를 위해 위의 코드처럼 cp949를 유니코드로 변환 해주면 한글이 잘 출력이 된다. Simple 테스트 코드 #-*- coding: utf-8 -*- import sys reload(sys) sys.setdefaultencoding('utf-8') f = open("/Users/terrypark/pythonPrj/target.txt", 'r') line = f.readline() print unicode(line, 'cp949') 읽어볼만한 글!이글은 파이썬 초보의 글입니다. 그리고 새로 들어오는 파이썬 초보를 위한 글입니다. johnsonj의 개인적인 생각에 불과하므.. 2016. 10. 7.
BATCH, OLTP,OLAP,DW 정의 OLTP,OLAP,DW 정의Batch Processing작업을 몰아두었다가 한번에 처리하는 시스템. 예: 쇼핑몰로 예를 들면 하루가 지난 뒤에 전체 매장의 재고를 체크하고 현재의 상품에 대해 가격과 재고 등을 맞추는 작업을주기적으로 수행하는 작업을 말한다! 간단히 말해 데이터를 실시간이 아닌 전체적으로 맞추는 작업을 하거나 주기적으로 발생하는 것들에 대한 처리를 하는 것! 예시는 넘나어려운것.. OLTP: OnLine Transaction ProcessingBatch 와 반대되는 개념으로 실시간으로 db의 데이터를 트랜잭션 단위로 갱신/조회하는 처리방식. 은행, 증권사 등에서 씀. 기존과 달리 다수의 client가 거의 동시에 이용할수 있도록 송수신자료를 트랜잭션단위로 압축한것이 특징. DW: Data .. 2016. 9. 28.
자바 예외처리를 생각해보자. 예외의 종류는 2가지로 보면 된다.checked exception과 unchecked exception말그대로 체크가 되는 예외와 예기치 못하게 발생하는 예외를 뜻한다. 또한 unchecked exception은 runtime exception 이라고 많이 불리운다.여기서 생각해보아야 할 것이 있다. 어떤 처리를 해주어야 예외처리를 잘하는 걸까?보통은 Exception가 발생하면 잡아서 에러로그를 찍어주거나 상위로 올려주어서 처리를 하기도 한다.try { ... 블라블라 ...} catch(Excetpion e) { logger.error(e.getMessage);}토비책에서도 제대로된 예외처리를 하라고 살짝 나오기도 한다. 과연..어떤 예외처리가 제대로된 예외처리일까? 사람마다 다를수 있을것 같기도 하.. 2016. 9. 26.
스카우터(scouter)를 통해 톰캣 성능 모니터링을 해보자! 스카우터를 사용하기 위해서는 우선 아래의 링크를 통하여 아키텍처와 어떻게 셋팅하는지 살펴보자! https://github.com/scouter-project/scouter/blob/master/scouter.document/main/Quick-Start_kr.md5번까지 따라하시고 돌아오시면 됩니다. 꼭 돌아오세요..ㅋㅋ참고 : 스카우터의 구성 start-scouter-server.sh / start-scouter-host.sh위의 두개의 쉘을 통해 agent를 띄우면 아래와 같이 클라이언트에서 보이게 됩니다.톰캣까지 붙여진다면 아래와 같이 보여지게 됩니다. 이제! 톰캣을 붙여봅시다! 1) 복사우선은 demo-env1 디렉토리의 scouter > agent.java > scouter.agent.jar를 .. 2016. 9. 8.
SSH 유용정보! SSH 이자식!! 맨날 헷깔리게 해서 정리를 초스피드로 해본다. 중요한 것만 정리! SSH key 생성 - rsa라는 암호화 방식으로 생성하겠다는 이야기!ssh-keygen -t rsa id_rsa : private keyid_rsa.pub : public keyauthorized_keys : id_rsa.pub의 값을 저장.(remote) ex) A서버 / B서버가 있다면B에서 A를 ssh로 접근하고 싶다면 B의 id_rsa.pub를 A의 authorized_keys에 등록하면 된다. 접속이 안된다면?ssh -v 옵션으로 디버깅해본다./etc/hosts 등록도 해본다. 그리고 혹시나 공통으로 사용되어지는 ssh 공용키가 있다면 아래처럼 권한을 제대로 줘야한다..엄청 깐깐한 녀석이다!!chmod 700 .. 2016. 8. 29.
ace-t의 Spring Boot 따라잡기(기본 - freeMarker 연동) 오랜만에 강좌를 쓰네요^0^ 오늘은 freeMarker라는 템플릿을 이용하여 view를 만들어보겠습니다. ㅎㅎ왜 freemarker냐?! 라고 하시면..회사에서 현재 사용하고 있어서라고..후훗 우선 지난번의 강좌를 통해 새롭게 검토하는 겸 따라서 해보겠습니다. 2016/03/22 - [OpenSource/Spring Boot] - ace-t의 Spring Boot 따라잡기(셋팅편)2016/03/22 - [OpenSource/Spring Boot] - ace-t의 Spring Boot 따라잡기(기본 - 헬로우월드찍어보기!)2016/03/23 - [OpenSource/Spring Boot] - ace-t의 Spring Boot 따라잡기(기본 - SourceTree에 연결 및 Repository에 올리기)20.. 2016. 8. 28.
톰캣 튜닝 톰캣 튜닝에는 여러가지 방법이 있을 것이다.그중에 힙과 메소드를 늘리는 방법을 알아보자! bin/catalina.sh eval exec "\"$_RUNJAVA\"" "\"$LOGGING_CONFIG\"" $LOGGING_MANAGER $JAVA_OPTS $CATALINA_OPTS \ -Djava.endorsed.dirs="\"$JAVA_ENDORSED_DIRS\"" -classpath "\"$CLASSPATH\"" \ -Djava.security.manager \ -Djava.security.policy=="\"$CATALINA_BASE/conf/catalina.policy\"" \ -Dcatalina.base="\"$CATALINA_BASE\"" \ -Dcatalina.home="\"$CATALINA_.. 2016. 7. 29.
spring boot 환경 나누기(profiles) TEST Code @RunWith(SpringJUnit4ClassRunner.class)@SpringApplicationConfiguration(classes = LineupFantaApplication.class) public class ServerHolderTest { public static final Logger logger = LoggerFactory.getLogger(ServerHolderTest.class); @Autowired ServerHolder serverHolder; // @Before // public void setUp(){} @Test public void testServerProfiles() throws Exception { Map servers = serverHolder.g.. 2016. 7. 18.
spark log4j 사용해보기! 구조는 아래와 같습니다.assembly.jar // assembly한 소스! jarspark-submit.sh // spark-submit의 내용이 있는 shellscriptlog4j-acet.properties // 우리가 사용하는 log4j.properties 아래의 spark-submit 에서 아래의 옵션을 2가지 추가 해줍니다.(즉, spark-submit.sh안에서!)예시)LOG_PATH=file:/full path를 적어줍니다./log4j-acet.properties$SPARK_HOME/bin/spark-submit --class "Main" \ --conf spark.executor.extraJavaOptions="-Dlog4j.configuration=$LOG_PATH" \ --driver.. 2016. 7. 4.
spark logback 설정? spark에서 돌아가는 app에서 logback.xml을 설정하여 사용하고 싶었습니다. 환경은! spark 1.5.2scala 2.10.6 그리고 아래와 같이 build.sbt에 설정! "ch.qos.logback" % "logback-classic" % "1.1.6" 그러나 spark conf쪽의 log4j.properties를 조정하면 영향을 받음. 배제 시켜야할 듯 어디에서? 스파크에서!그러므로 그냥 logback 말고 log4j를 사용하는게 좋을듯! Keep log4j: Add a bootstrap action to modify /home/hadoop/spark/conf/log4j.properties to add an appender? However, this file already contain.. 2016. 6. 29.
반응형

티스토리툴바