검색결과 리스트
OpenSource/ElasticSearch에 해당되는 글 4건
- 2017.08.28 kibana 잘 안띄워 진다면? 확인해보면 좋다!
- 2016.06.15 log 모니터링을 위한 아키텍처
- 2015.12.16 Curator를 사용해보자(인덱스 관리)
- 2015.10.30 ElasticSearch+LogStash+ElasticSearchHQ 사용해보기! (2)
글
[Good Comment!!, Good Discussion!!, Good Contens!!]
[ If you think that is useful, please click the finger on the bottom~^-^good~ ]
by ace-T
[ If you think that is useful, please click the finger on the bottom~^-^good~ ]
by ace-T
로컬이 아닌 서버에 kibana를 다운 받고 run을 한 뒤!
웹브라우저로 접근을 하려는데..접근이 fail...
# Specifies the address to which the Kibana server will bind. IP addresses and host names are both valid values. # The default is 'localhost', which usually means remote machines will not be able to connect. # To allow connections from remote users, set this parameter to a non-loopback address. server.host: "0.0.0.0" |
원인은 server.host가 주석처리가 되어있었는데 default가 localhost라서..접근이 안되었던 것!!!
docker image와는 다른 default~!!
엄청나게 쉽게 될 줄 알았는데 삽질 함..-_-;;
다른분들은 금방 해결 되길 바라며..포스팅~촤촤촤! ㅎㅎ
'OpenSource > ElasticSearch' 카테고리의 다른 글
| kibana 잘 안띄워 진다면? 확인해보면 좋다! (0) | 2017.08.28 |
|---|---|
| log 모니터링을 위한 아키텍처 (0) | 2016.06.15 |
| Curator를 사용해보자(인덱스 관리) (0) | 2015.12.16 |
| ElasticSearch+LogStash+ElasticSearchHQ 사용해보기! (2) | 2015.10.30 |
:::: facebook을 이용하시는 분들은 로그인 후 아래에 코멘트를 남겨주세요 ::::
글
[Good Comment!!, Good Discussion!!, Good Contens!!]
[ If you think that is useful, please click the finger on the bottom~^-^good~ ]
by ace-T
[ If you think that is useful, please click the finger on the bottom~^-^good~ ]
by ace-T
log 모니터링을 위한 아키텍처
목표는 ansible + elk
END
'OpenSource > ElasticSearch' 카테고리의 다른 글
| kibana 잘 안띄워 진다면? 확인해보면 좋다! (0) | 2017.08.28 |
|---|---|
| log 모니터링을 위한 아키텍처 (0) | 2016.06.15 |
| Curator를 사용해보자(인덱스 관리) (0) | 2015.12.16 |
| ElasticSearch+LogStash+ElasticSearchHQ 사용해보기! (2) | 2015.10.30 |
:::: facebook을 이용하시는 분들은 로그인 후 아래에 코멘트를 남겨주세요 ::::
글
[Good Comment!!, Good Discussion!!, Good Contens!!]
[ If you think that is useful, please click the finger on the bottom~^-^good~ ]
by ace-T
[ If you think that is useful, please click the finger on the bottom~^-^good~ ]
by ace-T
아래처럼..log가 점점 쌓아져간다~엘라스틱서치에서 인덱스가 늘어나고 있다는 뜻이다.
그래서 아래처럼 줄여보고자 한다. 어떻게?
Curator를 사용해보자!
Curator?
indices들을 관리해준다!
시작하기!
Curator Setting
Curator Upgrade
pip install -U elasticsearch-curator
Requirement already up-to-date: elasticsearch-curator in /usr/lib/python2.6/site-packages
Requirement already up-to-date: click>=3.3 in /usr/lib/python2.6/site-packages (from elasticsearch-curator)
Requirement already up-to-date: elasticsearch<2.1.0,>=1.8.0 in /usr/lib/python2.6/site-packages (from elasticsearch-curator)
Requirement already up-to-date: urllib3<2.0,>=1.8 in /usr/lib/python2.6/site-packages (from elasticsearch<2.1.0,>=1.8.0->elasticsearch-curator)
Curator --help
Curator Command
1) 색인 리스트 보기
curator --host 엘라스틱서치ip show indices --timestring '%Y.%m.%d'
2) 색인 삭제
curator --host 엘라스틱서치ip delete indices --older-than 30 --time-unit days --timestring '%Y.%m.%d' --time-unit days --prefix logstash
2015-12-15 13:59:15,246 INFO Job starting: delete indices
2015-12-15 13:59:15,265 INFO Pruning Kibana-related indices to prevent accidental deletion.
2015-12-15 13:59:15,265 INFO Action delete will be performed on the following indices: [u'logstash-2015.09.02', u'logstash-2015.09.03', u'logstash-2015.09.04', u'logstash-2015.09.05', u'logstash-2015.09.06', u'logstash-2015.09.07', u'logstash-2015.09.08', u'logstash-2015.09.09', u'logstash-2015.09.10', u'logstash-2015.09.11', u'logstash-2015.09.12', u'logstash-2015.09.13', u'logstash-2015.09.14', u'logstash-2015.09.15', u'logstash-2015.09.16', u'logstash-2015.09.17', u'logstash-2015.09.18', u'logstash-2015.09.19', u'logstash-2015.09.20', u'logstash-2015.09.21', u'logstash-2015.09.22', u'logstash-2015.09.23', u'logstash-2015.09.24', u'logstash-2015.09.25', u'logstash-2015.09.26', u'logstash-2015.09.27', u'logstash-2015.09.28', u'logstash-2015.09.29', u'logstash-2015.09.30', u'logstash-2015.10.01', u'logstash-2015.10.02', u'logstash-2015.10.03', u'logstash-2015.10.04', u'logstash-2015.10.05', u'logstash-2015.10.06', u'logstash-2015.10.07', u'logstash-2015.10.08', u'logstash-2015.10.09', u'logstash-2015.10.10', u'logstash-2015.10.11', u'logstash-2015.10.12', u'logstash-2015.10.13', u'logstash-2015.10.14', u'logstash-2015.10.15', u'logstash-2015.10.16', u'logstash-2015.10.17', u'logstash-2015.10.18', u'logstash-2015.10.19', u'logstash-2015.10.20', u'logstash-2015.10.21', u'logstash-2015.10.22', u'logstash-2015.10.23', u'logstash-2015.10.24', u'logstash-2015.10.25', u'logstash-2015.10.26', u'logstash-2015.10.27', u'logstash-2015.10.28', u'logstash-2015.10.29', u'logstash-2015.10.30', u'logstash-2015.10.31', u'logstash-2015.11.01', u'logstash-2015.11.02', u'logstash-2015.11.03', u'logstash-2015.11.04', u'logstash-2015.11.05', u'logstash-2015.11.06', u'logstash-2015.11.07', u'logstash-2015.11.08', u'logstash-2015.11.09', u'logstash-2015.11.10', u'logstash-2015.11.11', u'logstash-2015.11.12', u'logstash-2015.11.13', u'logstash-2015.11.14', u'logstash-2015.11.15']
2015-12-15 13:59:15,268 INFO Deleting indices as a batch operation:
2015-12-15 13:59:15,268 INFO ---deleting index logstash-2015.09.02
2015-12-15 13:59:15,268 INFO ---deleting index logstash-2015.09.03
2015-12-15 13:59:15,268 INFO ---deleting index logstash-2015.09.04
2015-12-15 13:59:15,268 INFO ---deleting index logstash-2015.09.05
2015-12-15 13:59:15,268 INFO ---deleting index logstash-2015.09.06
2015-12-15 13:59:15,268 INFO ---deleting index logstash-2015.09.07
2015-12-15 13:59:15,268 INFO ---deleting index logstash-2015.09.08
2015-12-15 13:59:15,268 INFO ---deleting index logstash-2015.09.09
2015-12-15 13:59:15,268 INFO ---deleting index logstash-2015.09.10
2015-12-15 13:59:15,268 INFO ---deleting index logstash-2015.09.11
2015-12-15 13:59:15,268 INFO ---deleting index logstash-2015.09.12
2015-12-15 13:59:15,268 INFO ---deleting index logstash-2015.09.13
2015-12-15 13:59:15,268 INFO ---deleting index logstash-2015.09.14
2015-12-15 13:59:15,269 INFO ---deleting index logstash-2015.09.15
2015-12-15 13:59:15,269 INFO ---deleting index logstash-2015.09.16
2015-12-15 13:59:15,269 INFO ---deleting index logstash-2015.09.17
2015-12-15 13:59:15,269 INFO ---deleting index logstash-2015.09.18
2015-12-15 13:59:15,269 INFO ---deleting index logstash-2015.09.19
2015-12-15 13:59:15,269 INFO ---deleting index logstash-2015.09.20
2015-12-15 13:59:15,269 INFO ---deleting index logstash-2015.09.21
2015-12-15 13:59:15,269 INFO ---deleting index logstash-2015.09.22
2015-12-15 13:59:15,269 INFO ---deleting index logstash-2015.09.23
2015-12-15 13:59:15,269 INFO ---deleting index logstash-2015.09.24
2015-12-15 13:59:15,269 INFO ---deleting index logstash-2015.09.25
2015-12-15 13:59:15,269 INFO ---deleting index logstash-2015.09.26
2015-12-15 13:59:15,269 INFO ---deleting index logstash-2015.09.27
2015-12-15 13:59:15,269 INFO ---deleting index logstash-2015.09.28
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.09.29
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.09.30
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.10.01
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.10.02
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.10.03
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.10.04
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.10.05
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.10.06
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.10.07
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.10.08
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.10.09
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.10.10
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.10.11
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.10.12
2015-12-15 13:59:15,270 INFO ---deleting index logstash-2015.10.13
2015-12-15 13:59:15,271 INFO ---deleting index logstash-2015.10.14
2015-12-15 13:59:15,271 INFO ---deleting index logstash-2015.10.15
2015-12-15 13:59:15,271 INFO ---deleting index logstash-2015.10.16
2015-12-15 13:59:15,271 INFO ---deleting index logstash-2015.10.17
2015-12-15 13:59:15,271 INFO ---deleting index logstash-2015.10.18
2015-12-15 13:59:15,271 INFO ---deleting index logstash-2015.10.19
2015-12-15 13:59:15,271 INFO ---deleting index logstash-2015.10.20
2015-12-15 13:59:15,271 INFO ---deleting index logstash-2015.10.21
2015-12-15 13:59:15,271 INFO ---deleting index logstash-2015.10.22
2015-12-15 13:59:15,271 INFO ---deleting index logstash-2015.10.23
2015-12-15 13:59:15,271 INFO ---deleting index logstash-2015.10.24
2015-12-15 13:59:15,271 INFO ---deleting index logstash-2015.10.25
2015-12-15 13:59:15,271 INFO ---deleting index logstash-2015.10.26
2015-12-15 13:59:15,271 INFO ---deleting index logstash-2015.10.27
2015-12-15 13:59:15,272 INFO ---deleting index logstash-2015.10.28
2015-12-15 13:59:15,272 INFO ---deleting index logstash-2015.10.29
2015-12-15 13:59:15,272 INFO ---deleting index logstash-2015.10.30
2015-12-15 13:59:15,272 INFO ---deleting index logstash-2015.10.31
2015-12-15 13:59:15,272 INFO ---deleting index logstash-2015.11.01
2015-12-15 13:59:15,272 INFO ---deleting index logstash-2015.11.02
2015-12-15 13:59:15,272 INFO ---deleting index logstash-2015.11.03
2015-12-15 13:59:15,272 INFO ---deleting index logstash-2015.11.04
2015-12-15 13:59:15,272 INFO ---deleting index logstash-2015.11.05
2015-12-15 13:59:15,272 INFO ---deleting index logstash-2015.11.06
2015-12-15 13:59:15,272 INFO ---deleting index logstash-2015.11.07
2015-12-15 13:59:15,272 INFO ---deleting index logstash-2015.11.08
2015-12-15 13:59:15,272 INFO ---deleting index logstash-2015.11.09
2015-12-15 13:59:15,272 INFO ---deleting index logstash-2015.11.10
2015-12-15 13:59:15,273 INFO ---deleting index logstash-2015.11.11
2015-12-15 13:59:15,273 INFO ---deleting index logstash-2015.11.12
2015-12-15 13:59:15,273 INFO ---deleting index logstash-2015.11.13
2015-12-15 13:59:15,273 INFO ---deleting index logstash-2015.11.14
2015-12-15 13:59:15,273 INFO ---deleting index logstash-2015.11.15
- 끝 -
'OpenSource > ElasticSearch' 카테고리의 다른 글
| kibana 잘 안띄워 진다면? 확인해보면 좋다! (0) | 2017.08.28 |
|---|---|
| log 모니터링을 위한 아키텍처 (0) | 2016.06.15 |
| Curator를 사용해보자(인덱스 관리) (0) | 2015.12.16 |
| ElasticSearch+LogStash+ElasticSearchHQ 사용해보기! (2) | 2015.10.30 |
:::: facebook을 이용하시는 분들은 로그인 후 아래에 코멘트를 남겨주세요 ::::
글
[Good Comment!!, Good Discussion!!, Good Contens!!]
[ If you think that is useful, please click the finger on the bottom~^-^good~ ]
by ace-T
[ If you think that is useful, please click the finger on the bottom~^-^good~ ]
by ace-T
https://brunch.co.kr/@acet/7 에 대한 구현 방법을 설명하고자 한다.
1. 엘라스틱서치 설치
- curl로 다운로드
curl -L -O https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 27.1M 100 27.1M 0 0 4662k 0 0:00:05 0:00:05 --:--:-- 6335k
- 압축해제
tar xvfz elasticsearch-1.7.1.tar.gz / 권한이 없다면 chmod로 권한을 준다.
- 실행
- 아래처럼 클러스터명과 노드명을 수행 시에 설정할 수 있긴하다.
elasticsearch의 bin으로 가서 수행한다.
nohup ./elasticsearch --cluster.name acet_cluster --node.name acet_node &
테스트
curl 'http://localhost:9200/?pretty'
결과
test result
localhost:~ terrypark$ curl 'http://localhost:9200/?pretty'
{
"status" : 200,
"name" : "acet_node",
"cluster_name" : "acet_cluster",
"version" : {
"number" : "1.7.1",
"build_hash" : "b88f43fc40b0bcd7f173a1f9ee2e97816de80b19",
"build_timestamp" : "2015-07-29T09:54:16Z",
"build_snapshot" : false,
"lucene_version" : "4.10.4"
},
"tagline" : "You Know, for Search"
}
중지 시키려면? 컨트롤+C나 shutdown api를 제공한다.
localhost:~ terrypark$ curl -XPOST 'http://localhost:9200/_shutdown'
{"cluster_name":"acet_cluster","nodes":{"nWlsi2xXRSSkIlT-J2Psig":{"name":"acet_node"}}}localhost:~ terrypark$
돌고 있던 엘라스틱서치쪽 상황~
[2015-08-17 01:31:14,760][INFO ][action.admin.cluster.node.shutdown] [acet_node] initiating requested shutdown...
[2015-08-17 01:31:14,760][INFO ][node ] [acet_node] stopping ...
[2015-08-17 01:31:14,774][INFO ][node ] [acet_node] stopped
[2015-08-17 01:31:14,774][INFO ][node ] [acet_node] closing ...
[2015-08-17 01:31:14,778][INFO ][node ] [acet_node] closed
자! 이제 엘라스틱 서치가 설치가 완료되었습니다.
2. LOGSTASH 설치 및 활용하기
logstash 역시 다운받아서 압축풀고 conf 파일 수정 후 띄워주면 끝!! 참 쉽죵?
yum install logstash
Loaded plugins: security
Repository RHEL5.4 is listed more than once in the configuration
Repository RHEL5.5 is listed more than once in the configuration
Repository RHEL5.6 is listed more than once in the configuration
Repository RHEL5.7 is listed more than once in the configuration
Repository RHEL5.8 is listed more than once in the configuration
Repository RHEL5.9 is listed more than once in the configuration
Repository EPEL5 is listed more than once in the configuration
You need to be root to perform this command.
[hanadmin@search-sitebo-dev /daum/program/neosite_elastic] curl -L -O https://download.elastic.co/logstash/logstash/logstash-1.4.5.tar.gz
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 70.4M 100 70.4M 0 0 2885k 0 0:00:25 0:00:25 --:--:-- 7558k
<설정 파일 내용>
input {
file {
path => "/kakao/service/neosite/logs/bo.log"
start_position => "beginning"
}
}
filter {
grok{
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
date {
match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
}
}
output {
elasticsearch {
host => "해당 아이피를 적어줍니다."
port => "9300"
cluster => "neosite_realbo_cluster"
embedded => false
}
stdout { codec => rubydebug }
}
/kakao/program/neosite_elasticsearch/logstash-1.4.5/config/logstash-realbo.conf
엘라스틱을 띄우고 로그스태쉬도 띄웁니다~
nohup ./elasticsearch --cluster.name neosite_realbo_cluster --node.name neosite_real_node01 &
nohup ./elasticsearch &
nohup ./bin/logstash -f ./config/logstash-realbo.conf &
mobz 사용.
참고 : http://d2.naver.com/helloworld/273788
# 클러스터를 식별하기 위한 이름이므로 유일성과 의미를 가진 이름을 사용하자
cluster.name: es-cluster
# 노드 이름은 자동으로 생성되지만 호스트명과 같이 클러스터 내에서 식별 가능한 이름을 활용하는 것이 좋다.
node.name: "es-node1"
# 기본값은 아래 두 값이 모두 true다. node.master는 노드가 마스터가 될 수 있지에 대한 설정이고, node.data는 데이터를 저장하는 노드인지에 대한 설정이다. 보통은 두 값을 true로 설정하면 되고, 클러스터의 규모가 큰 경우에는 3가지 종류의 노드를 구성하기 위해 이 값을 노드별로 조정해 설정한다. 자세한 사항은 토폴로지(topology) 설정에서 다시 설명하겠다.
node.master: true
node.data: true
# 샤드와 리플리카 수를 변경하는 설정이다. 아래 값은 기본값이다.
index.number_of_shards: 5
index.number_of_replicas: 1
#JVM의 스왑을 방지하려면 아래 설정 값을 true로 한다.
bootstrap.mlockall: true
# 클러스터 내의 각 노드의 상태 체크를 위한 타임아웃 값으로, 너무 작게 하면 노드가 클러스터에서 자주 이탈하는 문제가 발생할 수 있어 적절한 값을 설정한다. 기본값은 3초다.
discovery.zen.ping.timeout: 10s
# 기본값은 멀티캐스트를 사용하지만, 실환경에서는 다른 클러스터와 노드가 섞이는 위험이 발생할 수 있으므로 유니캐스트를 사용하고 두 번째 설정 값에 마스터가 될 수 있는 서버들의 목록을 나열하는 것이 좋다.
discovery.zen.ping.multicast.enabled: false
discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]
HQ는 플러그인이다. 보통 노드와 클러스터를 모니터링하는데 많이 사용되며 HQ보다 KIBANA라는 녀석을 선호
되긴 한다 그래서 보통 ELK라고들 부른다.
curl -L -O https://github.com/royrusso/elasticsearch-HQ/zipball/master/royrusso-elasticsearch-HQ-603ae9e.zip
bin/plugin -i HQ -u file:///kakao/program/neosite_elastic/elasticsearch-1.7.1/royrusso-elasticsearch-HQ-603ae9e.zip
플러그인을 셋팅한 뒤 아래처럼 접속하여보자!
https://ip쓰시고~:9200/_plugin/HQ
마지막으로 들이는 시간보다 가성비가 정말 좋은것 같다. 덕분에 리펙토링 후 빠른 오류를 감지하여 수정할 수 있었던 케이스도 있다.
한곳에서 모든 로그를 볼수 있다는 메리트는 정말 좋은것 같다.
이상 끝~
'OpenSource > ElasticSearch' 카테고리의 다른 글
| kibana 잘 안띄워 진다면? 확인해보면 좋다! (0) | 2017.08.28 |
|---|---|
| log 모니터링을 위한 아키텍처 (0) | 2016.06.15 |
| Curator를 사용해보자(인덱스 관리) (0) | 2015.12.16 |
| ElasticSearch+LogStash+ElasticSearchHQ 사용해보기! (2) | 2015.10.30 |
설정
트랙백
댓글
-
도와주세요 2015.12.08 11:03
안녕하세요 kibana를 사용중인 초보 입니다.. 회사에서 kibana를 통해 로그를 확인하고 있는데요.. 얼마전부터 kibana 에 접속하면 Kibana: Unable to connect to Elasticsearch 라는 메세지가 뜨기 시작하더니 짧으면 6시간에 한번 길게는 2틀에 한번 꼴로 이러네요.. 리눅스로 접속해서 확인해보면 elasticsearch 가 자꾸 죽어버리네요.. 현재는 elasticsearch 를 다시 살리는걸로 문제를 해결 하고는 있지만.. 원인을 알수 없고 해결하지 못하고 있어요... 로그 메세지를 살펴보면 에러 로그는 없구요 stopping ... stoped.. closing... closed 밖에 없어요.. ㅠㅠ 원인을 파악해보려면 어디를 확인해 봐야 할지 알 수 있을까요? 과부하가 걸려서 죽는건지.. 어디 설정을 건드려야 하는건지 도무지 모르겠어요 ㅠㅠ 도와주세요 지금 영동대교 가야하나 맘이 너무 아파요..
-
String Ace-T
2015.12.10 11:40 신고
안녕하세요~
음..주변 elk사용하시는 지인분에게도 여쭤보았는데..저도 그렇고 아무이상 잘사용하고 있기는해서 정확히 왜 죽는지는 엘라스틱서치쪽이 문제인것 처럼 보이는데..
아니면 엘라스틱서치HQ 플러그인을 셋팅하셔서 감시해보는것도 좋을 듯 싶어요
많은 도움을 드리지 못해서 죄송해유 ㅠㅠ
-
:::: facebook을 이용하시는 분들은 로그인 후 아래에 코멘트를 남겨주세요 ::::
