2021.08.22 - [OS/Linux&Unix] - Disk Full 처리 , 서버에서 로그만 찾겠다는 마인드는 버려라!! 에 이어서 이제 주기적으로 es 데이터를 지워주는 것을 리눅스 기반에서 처리 해보도록 하겠습니다. 아래의 2가지 요구사항! 1. 리눅스에서 주기적 crontab 이라는것을 사용하자. 2. es 데이터를 삭제 curl -XDELETE 'es-url:9200/index명-2021.10.*' 주기적인 처리는 crontab을 이용. crontab -e (수정)을 하여 아래와 같이 매달 1일 1시에 del_elastic.sh가 동작 하도록 한다. 00 01 1 * * /acet/script/del_elastic.sh >> /acet/script/remove.log 2>&1 del_elas..

주저리 es버전..1.2.1 완전 오래된..버전을 사용하면.. 공용으로 사용하는 spark 2.4.5 / scala 2.12 / elastic lib 버전 문제로 온갖 삽질 다함... es 버전을 못올리는 상황이라면? 공용 spark쪽 사용 X es lib를 버전업 못한다면 자체 개발 -> springboot + springdata + elasticsearch로 개발 으악! 이것도 역시나 버전문제 발생.. 그래서 방향 다시 틀었다. REST api를 curl로 찔러서 파일로 다운. 이 파일을 자바에서 처리 하는걸로! 운영업무에 있어서 버전관리가 가장 큰 문제구나..

www.elastic.co/kr/what-is/elk-stack ELK Stack: Elasticsearch, Logstash, Kibana ELK Stack이란 무엇인가요? ELK Stack은 널리 알려진 세 개의 오픈 소스 프로젝트인 E=Elasticsearch(Lucene 기반), L=Logstash, K=Kibana의 머리글자를 합친 것입니다. Beats가 추가되어 이제 ELK Stack을 Elastic Stack이 www.elastic.co 간만에 elk 셋팅을 해보려고 하는데 귀여운 이미지에 흥미가 더 생겼다 ㅋㅋ 이제는 거의 필수적으로 사용되는 ELK logstash 등 수집부분은 fluentd 같은 녀석을 많이 사용한다. EFK인가 그럼? ㅋㅋ Elasticsearch - 검색엔진 Logs..

로컬이 아닌 서버에 kibana를 다운 받고 run을 한 뒤!웹브라우저로 접근을 하려는데..접근이 fail...# Specifies the address to which the Kibana server will bind. IP addresses and host names are both valid values.# The default is 'localhost', which usually means remote machines will not be able to connect.# To allow connections from remote users, set this parameter to a non-loopback address.server.host: "0.0.0.0" 원인은 server.host가 주석처..

log 모니터링을 위한 아키텍처 목표는 ansible + elk END

아래처럼..log가 점점 쌓아져간다~엘라스틱서치에서 인덱스가 늘어나고 있다는 뜻이다. 그래서 아래처럼 줄여보고자 한다. 어떻게? Curator를 사용해보자! https://github.com/elastic/curator Curator?indices들을 관리해준다! 시작하기! https://www.elastic.co/guide/en/elasticsearch/client/curator/current/getting-started.html Curator Setting sudo pip install elasticsearch-curatorCollecting elasticsearch-curator/usr/lib/python2.6/site-packages/pip-7.1.2-py2.6.egg/pip/_vendor/req..