주저리 es버전..1.2.1 완전 오래된..버전을 사용하면.. 공용으로 사용하는 spark 2.4.5 / scala 2.12 / elastic lib 버전 문제로 온갖 삽질 다함... es 버전을 못올리는 상황이라면? 공용 spark쪽 사용 X es lib를 버전업 못한다면 자체 개발 -> springboot + springdata + elasticsearch로 개발 으악! 이것도 역시나 버전문제 발생.. 그래서 방향 다시 틀었다. REST api를 curl로 찔러서 파일로 다운. 이 파일을 자바에서 처리 하는걸로! 운영업무에 있어서 버전관리가 가장 큰 문제구나..

www.elastic.co/kr/what-is/elk-stack ELK Stack: Elasticsearch, Logstash, Kibana ELK Stack이란 무엇인가요? ELK Stack은 널리 알려진 세 개의 오픈 소스 프로젝트인 E=Elasticsearch(Lucene 기반), L=Logstash, K=Kibana의 머리글자를 합친 것입니다. Beats가 추가되어 이제 ELK Stack을 Elastic Stack이 www.elastic.co 간만에 elk 셋팅을 해보려고 하는데 귀여운 이미지에 흥미가 더 생겼다 ㅋㅋ 이제는 거의 필수적으로 사용되는 ELK logstash 등 수집부분은 fluentd 같은 녀석을 많이 사용한다. EFK인가 그럼? ㅋㅋ Elasticsearch - 검색엔진 Logs..

로컬이 아닌 서버에 kibana를 다운 받고 run을 한 뒤!웹브라우저로 접근을 하려는데..접근이 fail...# Specifies the address to which the Kibana server will bind. IP addresses and host names are both valid values.# The default is 'localhost', which usually means remote machines will not be able to connect.# To allow connections from remote users, set this parameter to a non-loopback address.server.host: "0.0.0.0" 원인은 server.host가 주석처..

log 모니터링을 위한 아키텍처 목표는 ansible + elk END

아래처럼..log가 점점 쌓아져간다~엘라스틱서치에서 인덱스가 늘어나고 있다는 뜻이다. 그래서 아래처럼 줄여보고자 한다. 어떻게? Curator를 사용해보자! https://github.com/elastic/curator Curator?indices들을 관리해준다! 시작하기! https://www.elastic.co/guide/en/elasticsearch/client/curator/current/getting-started.html Curator Setting sudo pip install elasticsearch-curatorCollecting elasticsearch-curator/usr/lib/python2.6/site-packages/pip-7.1.2-py2.6.egg/pip/_vendor/req..

https://brunch.co.kr/@acet/7 에 대한 구현 방법을 설명하고자 한다. 1. 엘라스틱서치 설치curl로 다운로드 curl -L -O https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz% Total % Received % Xferd Average Speed Time Time Time CurrentDload Upload Total Spent Left Speed100 27.1M 100 27.1M 0 0 4662k 0 0:00:05 0:00:05 --:--:-- 6335k 압축해제tar xvfz elasticsearch-1.7.1.tar.gz / 권한이 없다면 chmod로 권한을 준다. 실행아래처..