본문 바로가기
[elasticsearch] 실행 후 website 접속시 발생하는 문제 해결 ERR_EMPTY_RESPONSE - 엘라스틱 서치 8.X 버전으로 다운로드 받아 배치 파일 실행 후 localhost:9200로 접속을 시도하였는데 아래와 같은 에러가 떴다. - 확인해보니 elasticsearch.yml 파일의 설정을 바꿔야 한다고 했다. 변경전 변경후 xpack.security.http.ssl: enabled: true keystore.path: certs/http.p12 xpack.security.http.ssl: enabled: false keystore.path: certs/http.p12 - 변경 후 에러는 안나지만 로그인 alert 창이 뜨기 시작 했다. 로그인 ALERT 찾아보니 7.x 버전 이상인가 몇버전 부터 로그인을 해야한다고 한다. 그래서 elasticsearch... 2023. 7. 6.
[ElasticSeach] Elastic Stack(ELK 스택) 무엇일까! ELK 스택은 Elasticsearch, Logstash, kibana로 구성된 오픈 소스 프로젝트의 조합으로 각 프로젝트의 앞글자를 따서 ELK Stack이라 부릅니다. ▶ E : ElasticSearch 검색 및 분석 엔진 ▶ L : Logstash 여러 소스에서 동시에 데이터를 수집하여 변환 한 후 ElasticSearch같은 stash로 전송하는 데이터 처리 파이프 라인 (데이터 수집 도구) ▶ K : Kibana elasticSearch에서 차트와 그래프를 이용해 데이터를 시각화 하게 해주는 시각화 툴 ▶ Beat 단일 목적의 데이터 수집기, Logstash나 Elasticsearch에 데이터 전송 Elasticsearch에 직접 전송이 필요한 경우 직접 전송하면 된다. ● ELK Stack 구.. 2022. 7. 13.
[ElasticSearch] 노드, 인덱스, 샤드 기본 개념 ● 노드 노드란? → 컴퓨터 과학에 쓰이는 기초적인 단위, 대형 네트워크에서는 장치나 데이터 지점을 의미함. 엘라스틱 서치에는 4종류의 노드가 있고 노드마다 하는 일이 다르다. * ElasticSearch는 아무리 작은 클러스터라도 데이터 가용성과 무결성을위해 최소 3개의 노드로 구성할것을 권장합니다. 엘라스틱 서치의 4가지 노드 1. 마스터 노드 (MasterNode) - 클러스터를 관리한다. - 노드 추가와 제거 같은 클러스터의 전반적인 관리를 담당 - 네트워크 속도가 빠르고, 지연이 없는 노드를 마스터 노드로 선정해야함. elasticsearch.yml 설정 node.master: true node.data: false node.ingest: false node.remote.connect: fals.. 2022. 7. 13.
[ElasticSearch] data too large data... 문제kibana에서 "data too large data..." 에러가 보이면서 정상적으로 처리되지 않았다.해결 - PostMan을 사용하여 아래의 API 호출 PUT localhost:9200/_cluster/settings{ "transient": { "indices.breaker.total.limit": "80%" }} persistent : 영구적으로 설정 유지 indices.breaker.total.limit은 동적으로 변경 가능한 설정, 즉시 적용됨 따라서, 위와 같이 transient 설정을 적용하신 후에는 Elasticsearch를 재시작할 필요가 없음 2021. 6. 15.
[elasticsearch error] overhead,spent - overhead, spent [3.6s] collecting in the last [4.5s] elasticsearch 로그를 확인해보니 위와 같은 에러가 나고 있었다. jvm.options 파일을 열어서 --------------------- -Xms1g -Xmx1g --------------------- 위의 설정을 -Xms4g -Xmx4g --------------------- 바꾸고 재실행했더니 에러 안난다. + kibana에서 모니터링 기능 켠다음에 확인해보았다. 아래 처럼 JVM HEAP이 4기가로 늘어났다.. 그리고 그중 현재 2.5기가 사용중인데;;; 기존에 1기가였으니 에러 날만하다.. [중요] 1. 힙 사이즈는 사용가능한 RAM을 기반으로 해야합니다. 2. Xms, Xmx 사이즈는 .. 2021. 6. 15.
[ElasticSearch] 샤드 개수 부족으로 로그 수집 안되는 문제 문제갑자기 로그가 수집이 안되는 현상이 발생 원인logstash 로그를 확인해보았는데, 아래와 같은 로그가 찍혀있는데, 확인해보니 샤드 개수 부족이었다.- [logstash.outputs.elasticsearch][main] Could not index event to Elasticsearch.{:status=>400, :action=>["index", {:_id=>nil, :_index=>"인덱스인덱스인덱스", :routing=>nil, :_type=>"_doc"}, #], :response=>{"index"=>{"_index"=>"인덱스인덱스인덱스", "_type"=>"_doc", "_id"=>nil, "status"=>400, "error"=>{"type"=>"validation_exception".. 2021. 6. 11.

티스토리툴바