반응형 OpenSource/ElasticSearch7 리눅스에서 주기적으로 es 데이터 지우기 2021.08.22 - [OS/Linux&Unix] - Disk Full 처리 , 서버에서 로그만 찾겠다는 마인드는 버려라!! 에 이어서 이제 주기적으로 es 데이터를 지워주는 것을 리눅스 기반에서 처리 해보도록 하겠습니다. 아래의 2가지 요구사항! 1. 리눅스에서 주기적 crontab 이라는것을 사용하자. 2. es 데이터를 삭제 curl -XDELETE 'es-url:9200/index명-2021.10.*' 주기적인 처리는 crontab을 이용. crontab -e (수정)을 하여 아래와 같이 매달 1일 1시에 del_elastic.sh가 동작 하도록 한다. 00 01 1 * * /acet/script/del_elastic.sh >> /acet/script/remove.log 2>&1 del_elas.. 2021. 12. 12. es 버전이 낮으면.. 주저리 es버전..1.2.1 완전 오래된..버전을 사용하면.. 공용으로 사용하는 spark 2.4.5 / scala 2.12 / elastic lib 버전 문제로 온갖 삽질 다함... es 버전을 못올리는 상황이라면? 공용 spark쪽 사용 X es lib를 버전업 못한다면 자체 개발 -> springboot + springdata + elasticsearch로 개발 으악! 이것도 역시나 버전문제 발생.. 그래서 방향 다시 틀었다. REST api를 curl로 찔러서 파일로 다운. 이 파일을 자바에서 처리 하는걸로! 운영업무에 있어서 버전관리가 가장 큰 문제구나.. 2021. 6. 27. elk www.elastic.co/kr/what-is/elk-stack ELK Stack: Elasticsearch, Logstash, Kibana ELK Stack이란 무엇인가요? ELK Stack은 널리 알려진 세 개의 오픈 소스 프로젝트인 E=Elasticsearch(Lucene 기반), L=Logstash, K=Kibana의 머리글자를 합친 것입니다. Beats가 추가되어 이제 ELK Stack을 Elastic Stack이 www.elastic.co 간만에 elk 셋팅을 해보려고 하는데 귀여운 이미지에 흥미가 더 생겼다 ㅋㅋ 이제는 거의 필수적으로 사용되는 ELK logstash 등 수집부분은 fluentd 같은 녀석을 많이 사용한다. EFK인가 그럼? ㅋㅋ Elasticsearch - 검색엔진 Logs.. 2021. 4. 30. kibana 잘 안띄워 진다면? 확인해보면 좋다! 로컬이 아닌 서버에 kibana를 다운 받고 run을 한 뒤!웹브라우저로 접근을 하려는데..접근이 fail...# Specifies the address to which the Kibana server will bind. IP addresses and host names are both valid values.# The default is 'localhost', which usually means remote machines will not be able to connect.# To allow connections from remote users, set this parameter to a non-loopback address.server.host: "0.0.0.0" 원인은 server.host가 주석처.. 2017. 8. 28. log 모니터링을 위한 아키텍처 log 모니터링을 위한 아키텍처 목표는 ansible + elk END 2016. 6. 15. Curator를 사용해보자(인덱스 관리) 아래처럼..log가 점점 쌓아져간다~엘라스틱서치에서 인덱스가 늘어나고 있다는 뜻이다. 그래서 아래처럼 줄여보고자 한다. 어떻게? Curator를 사용해보자! https://github.com/elastic/curator Curator?indices들을 관리해준다! 시작하기! https://www.elastic.co/guide/en/elasticsearch/client/curator/current/getting-started.html Curator Setting sudo pip install elasticsearch-curatorCollecting elasticsearch-curator/usr/lib/python2.6/site-packages/pip-7.1.2-py2.6.egg/pip/_vendor/req.. 2015. 12. 16. ElasticSearch+LogStash+ElasticSearchHQ 사용해보기! https://brunch.co.kr/@acet/7 에 대한 구현 방법을 설명하고자 한다. 1. 엘라스틱서치 설치curl로 다운로드 curl -L -O https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz% Total % Received % Xferd Average Speed Time Time Time CurrentDload Upload Total Spent Left Speed100 27.1M 100 27.1M 0 0 4662k 0 0:00:05 0:00:05 --:--:-- 6335k 압축해제tar xvfz elasticsearch-1.7.1.tar.gz / 권한이 없다면 chmod로 권한을 준다. 실행아래처.. 2015. 10. 30. 이전 1 다음 반응형
