[ElasticSearch] 샤드 개수 부족으로 로그 수집 안되는 문제

문제갑자기 로그가 수집이 안되는 현상이 발생 원인logstash 로그를 확인해보았는데, 아래와 같은 로그가 찍혀있는데, 확인해보니 샤드 개수 부족이었다.- [logstash.outputs.elasticsearch][main] Could not index event to Elasticsearch.{:status=>400, :action=>["index", {:_id=>nil, :_index=>"인덱스인덱스인덱스", :routing=>nil, :_type=>"_doc"}, #], :response=>{"index"=>{"_index"=>"인덱스인덱스인덱스", "_type"=>"_doc", "_id"=>nil, "status"=>400, "error"=>{"type"=>"validation_exception"..

• format_list_bulleted 👩🏻‍💻 프로그래밍/Log & Motinoring
• · 2021. 6. 11.

[logstash] logstash로 'file' 수집하기

사용특정 인덱스가 수집 되지 않아서, 로그를 재수집 하고 싶을때 사용하면 유용방법logstash config의 input/ output 부분 수정하면 file을 수집하여 elasticsearch로 보낸다. logstash.conf 파일을 열고 아래의 내용을 적는다. ex) logstash.conf input { file { path=>"D:/TestFilePath/textlog.txt" start_position => "beginning" type => textfile }}filter { #...}output { if [type] == "textfile" { elasticsearch { hosts => ["http://localhost:9200","http://localhost:9..

• format_list_bulleted 👩🏻‍💻 프로그래밍/Log & Motinoring
• · 2020. 10. 12.

[오류] elasticsearch - index가 갑자기 사라지는 문제 발생 !!

지난주 갑자기 멀쩡하게 동작하던 로그 조회 기능이 작동안했다. 인덱스를 조회해 보니 기존 인덱스가 다 삭제 되고 *****-meow 라는 알 수 없는 인덱스가 잔뜩 생성되어 있었다. yellow open dr5b0nb40s-meow _6PxFu_qQ5ybnoO-SR6IHA 1 1 0 0 283b 283b yellow open hacssczns2-meow nv4veHIfTemeDK558F8B2Q 1 1 0 0 283b 283b yellow open h5zwkvgz6p-meow kLXR-JLkQ8mp8W2Q7oXCDQ 1 1 0 0 283b 283b yellow open djg6giqcn6-meow wsx1H1HHQK-IxImS3w-Hpw 1 1 0 0 283b 283b yellow open jpi009cu..

• format_list_bulleted 👩🏻‍💻 프로그래밍/Log & Motinoring
• · 2020. 10. 12.

[ElasticSearch] ElasticSearch 서비스로 설치

1. Download https://www.elastic.co/kr/downloads/elasticsearch Download Elasticsearch Free | Get Started Now | Elastic | Elastic Want it hosted? Deploy on Elastic Cloud. Get Started » www.elastic.co * WINDOWS 버전 다운로드 2. 다운로드된 zip파일 압축 해제 후 폴더 채로 설치할 드라이브로 옮김 3. nssm 실행 - nssm 다운로드 및 사용법은 아래 포스팅 참고 https://podo1017.tistory.com/265 [nssm] nssm 다운로드/사용 1. 다운로드 https://nssm.cc/download NSSM - the Non..

• format_list_bulleted 👩🏻‍💻 프로그래밍/Log & Motinoring
• · 2020. 7. 30.

[nssm] nssm 다운로드/사용

1. 다운로드 https://nssm.cc/download NSSM - the Non-Sucking Service Manager NSSM - the Non-Sucking Service Manager Windows 10 Creators Update 2017-04-26: Users of Windows 10 Creators Update should use prelease build 2.2.4-101 to avoid an issue with services failing to start. If for some reason you cannot use that build you can als nssm.cc 위 사이트에서 nssm을 다운 받는다. 2. CMD 창 실행 * 되도록이면 관리자 권한으로 실행하자. 3. n..

• format_list_bulleted 👩🏻‍💻 프로그래밍/Log & Motinoring
• · 2020. 7. 30.

[Logstash] Logstash windows service로 설치

0. 자바 설치 확인 자바가 없으면 logstash를 설치해도 에러가 남. 1. logstash 다운로드 https://www.elastic.co/kr/downloads/logstash Download Logstash Free | Get Started Now | Elastic | Elastic Want to upgrade? We'll give you a hand. Migration Guide » www.elastic.co - ZIP 다운로드 2. 해당 zip을 압축 해제 후 C드라이브에 복사 3. 명령 프롬프트(cmd)를 괸리자 권한으로 실행 4. nssm 설치 폴더로 이동 $ cd C:\nssm-2.24\win64 $ nssm install logstash 명령어 입력 5. nssm service in..

• format_list_bulleted 👩🏻‍💻 프로그래밍/Log & Motinoring
• · 2020. 7. 29.