ELK 스택은 Elasticsearch, Logstash, kibana로 구성된 오픈 소스 프로젝트의 조합으로 각 프로젝트의 앞글자를 따서 ELK Stack이라 부릅니다.
|
▶ E : ElasticSearch 검색 및 분석 엔진 |
▶ L : Logstash 여러 소스에서 동시에 데이터를 수집하여 변환 한 후 ElasticSearch같은 stash로 전송하는 데이터 처리 파이프 라인 (데이터 수집 도구) |
|
▶ K : Kibana elasticSearch에서 차트와 그래프를 이용해 데이터를 시각화 하게 해주는 시각화 툴 |
|
▶ Beat 단일 목적의 데이터 수집기, Logstash나 Elasticsearch에 데이터 전송 Elasticsearch에 직접 전송이 필요한 경우 직접 전송하면 된다. |
● ELK Stack 구조
▶ ElasticSearch
- ElasticSearch는 NoSql 데이터 베이스입니다. 아파치 Lucene 검색 엔진을 기반으로 하며 Restful API로 구축되었습니다.
- ElasticSearch를 사용하면 대용량 데이터를 저장, 검색 및 분석 가능합니다.
▶ LogStach
- 데이터 수집 파이프 라인 도구 입니다.
- 데이터를 수집하고 elasticsearch에 전송합니다.
- 서로 다른곳의 데이터를 통합하곡 원하는 대상으로 데이터 정규화가 가능합니다.
Input, Filters, Output 세 부분으로 구성됩니다.
-> 이 부분은 나중에 config 설정 설명하는 부분에서 다시 설명하겠습니다.
▶ Kibana
- kibana는 ELk스택을 완성하는 데이터 시각화 도구입니다.
- kibana 대시보드는 다이어그램, 지리공간, 그래프 등등 다양한 형태의 페이지를 제공합니다.
▶ Beat와 Logstash 차이
- beat는 logstash 보다 자원 사용이 가볍다.
- logstash는 input, output option이 많다.
- logstash는 disk, 많은 메모리를 사용한다.
[참고]
https://aws.amazon.com/ko/opensearch-service/the-elk-stack/
https://sabarada.tistory.com/46
https://dzone.com/articles/filebeat-vs-logstash-the-evolution-of-a-log-shippe
https://medium.com/@knoldus/what-is-the-elk-stack-ad8398dd265e
https://www.elastic.co/kr/what-is/elk-stack
https://aws.amazon.com/ko/opensearch-service/the-elk-stack/
#elk,#elkstack
'프로그래밍 > ELK' 카테고리의 다른 글
[elasticsearch] 실행 후 website 접속시 발생하는 문제 해결 (0) | 2023.07.06 |
---|---|
[ElasticSearch] 노드, 인덱스, 샤드 기본 개념 (0) | 2022.07.13 |
[ElasticSearch] data too large data... (0) | 2021.06.15 |
[elasticsearch error] overhead,spent (0) | 2021.06.15 |
[ElasticSearch] 샤드 개수 부족으로 로그 수집 안되는 문제 (0) | 2021.06.11 |
댓글