본문 바로가기

프로그래밍/ELK12

[elasticsearch] 실행 후 website 접속시 발생하는 문제 해결 ERR_EMPTY_RESPONSE - 엘라스틱 서치 8.X 버전으로 다운로드 받아 배치 파일 실행 후 localhost:9200로 접속을 시도하였는데 아래와 같은 에러가 떴다. - 확인해보니 elasticsearch.yml 파일의 설정을 바꿔야 한다고 했다. 변경전 변경후 xpack.security.http.ssl: enabled: true keystore.path: certs/http.p12 xpack.security.http.ssl: enabled: false keystore.path: certs/http.p12 - 변경 후 에러는 안나지만 로그인 alert 창이 뜨기 시작 했다. 로그인 ALERT 찾아보니 7.x 버전 이상인가 몇버전 부터 로그인을 해야한다고 한다. 그래서 elasticsearch... 2023. 7. 6.
[ElasticSeach] Elastic Stack(ELK 스택) 무엇일까! ELK 스택은 Elasticsearch, Logstash, kibana로 구성된 오픈 소스 프로젝트의 조합으로 각 프로젝트의 앞글자를 따서 ELK Stack이라 부릅니다. ▶ E : ElasticSearch 검색 및 분석 엔진 ▶ L : Logstash 여러 소스에서 동시에 데이터를 수집하여 변환 한 후 ElasticSearch같은 stash로 전송하는 데이터 처리 파이프 라인 (데이터 수집 도구) ▶ K : Kibana elasticSearch에서 차트와 그래프를 이용해 데이터를 시각화 하게 해주는 시각화 툴 ▶ Beat 단일 목적의 데이터 수집기, Logstash나 Elasticsearch에 데이터 전송 Elasticsearch에 직접 전송이 필요한 경우 직접 전송하면 된다. ● ELK Stack 구.. 2022. 7. 13.
[ElasticSearch] 노드, 인덱스, 샤드 기본 개념 ● 노드 노드란? → 컴퓨터 과학에 쓰이는 기초적인 단위, 대형 네트워크에서는 장치나 데이터 지점을 의미함. 엘라스틱 서치에는 4종류의 노드가 있고 노드마다 하는 일이 다르다. * ElasticSearch는 아무리 작은 클러스터라도 데이터 가용성과 무결성을위해 최소 3개의 노드로 구성할것을 권장합니다. 엘라스틱 서치의 4가지 노드 1. 마스터 노드 (MasterNode) - 클러스터를 관리한다. - 노드 추가와 제거 같은 클러스터의 전반적인 관리를 담당 - 네트워크 속도가 빠르고, 지연이 없는 노드를 마스터 노드로 선정해야함. elasticsearch.yml 설정 node.master: true node.data: false node.ingest: false node.remote.connect: fals.. 2022. 7. 13.
[elasticsearch] data too large data... kibana에서 "data too large data..." 에러가 보이면서 정상적으로 처리되지 않았다. postman을 사용해서 [put] localhost:9200/_cluster/settings body { "transient": { "indices.breaker.total.limit": "80%" } } 입력하였다. 참고] https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=brilliantjay&logNo=221580908713 2021. 6. 15.
[elasticsearch error] overhead,spent - overhead, spent [3.6s] collecting in the last [4.5s] elasticsearch 로그를 확인해보니 위와 같은 에러가 나고 있었다. jvm.options 파일을 열어서 --------------------- -Xms1g -Xmx1g --------------------- 위의 설정을 -Xms4g -Xmx4g --------------------- 바꾸고 재실행했더니 에러 안난다. + kibana에서 모니터링 기능 켠다음에 확인해보았다. 아래 처럼 JVM HEAP이 4기가로 늘어났다.. 그리고 그중 현재 2.5기가 사용중인데;;; 기존에 1기가였으니 에러 날만하다.. [중요] 1. 힙 사이즈는 사용가능한 RAM을 기반으로 해야합니다. 2. Xms, Xmx 사이즈는 .. 2021. 6. 15.
[ElasticSearch] 로그 수집 안되는 문제 문제 갑자기 로그가 수집이 안되는 현상이 발생 원인 logstash 로그를 확인해보았는데, 아래와 같은 로그가 찍혀있었다. 샤드 개수 부족이었다. - [logstash.outputs.elasticsearch][main] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"인덱스인덱스인덱스", :routing=>nil, :_type=>"_doc"}, #], :response=>{"index"=>{"_index"=>"인덱스인덱스인덱스", "_type"=>"_doc", "_id"=>nil, "status"=>400, "error"=>{"type"=>"validation_exception", .. 2021. 6. 11.
logstash로 'file' 수집하기 logstash config의 input/ output 부분 수정하면 file을 수집하여 elasticsearch로 보낼 수 있다. ex) input { file { path=>"D:/TestFilePath/textlog.txt" start_position => "beginning" type => textfile } } filter { #... } output { if [type] == "textfile" { elasticsearch { hosts => ["http://localhost:9200","http://localhost:9200"] manage_template => false index => "textfile-index" } } } [작성시 주의] 1. input { path => 부분에 \랑 .. 2020. 10. 12.
[오류] elasticsearch - index가 갑자기 사라지는 문제 발생 !! 지난주 갑자기 멀쩡하게 동작하던 로그 조회 기능이 작동안했다. 인덱스를 조회해 보니 기존 인덱스가 다 삭제 되고 *****-meow 라는 알 수 없는 인덱스가 잔뜩 생성되어 있었다. yellow open dr5b0nb40s-meow _6PxFu_qQ5ybnoO-SR6IHA 1 1 0 0 283b 283b yellow open hacssczns2-meow nv4veHIfTemeDK558F8B2Q 1 1 0 0 283b 283b yellow open h5zwkvgz6p-meow kLXR-JLkQ8mp8W2Q7oXCDQ 1 1 0 0 283b 283b yellow open djg6giqcn6-meow wsx1H1HHQK-IxImS3w-Hpw 1 1 0 0 283b 283b yellow open jpi009cu.. 2020. 10. 12.
[ElasticSearch] ElasticSearch 서비스로 설치 1. Download https://www.elastic.co/kr/downloads/elasticsearch Download Elasticsearch Free | Get Started Now | Elastic | Elastic Want it hosted? Deploy on Elastic Cloud. Get Started » www.elastic.co * WINDOWS 버전 다운로드 2. 다운로드된 zip파일 압축 해제 후 폴더 채로 설치할 드라이브로 옮김 3. nssm 실행 - nssm 다운로드 및 사용법은 아래 포스팅 참고 https://podo1017.tistory.com/265 [nssm] nssm 다운로드/사용 1. 다운로드 https://nssm.cc/download NSSM - the Non.. 2020. 7. 30.
반응형