본문 바로가기
프로그래밍/ELK

[ElasticSeach] Elastic Stack(ELK 스택) 무엇일까!

by 뽀도 2022. 7. 13.

ELK 스택은 Elasticsearch, Logstash, kibana로 구성된 오픈 소스 프로젝트의 조합으로 각 프로젝트의 앞글자를 따서 ELK Stack이라 부릅니다.


▶ E : ElasticSearch

검색 및 분석 엔진
▶ L : Logstash

여러 소스에서 동시에 데이터를 수집하여 변환 한 후
ElasticSearch같은 stash로 전송하는 데이터 처리 파이프 라인

(데이터 수집 도구)
▶ K : Kibana

elasticSearch에서 차트와 그래프를 이용해 데이터를 시각화 하게 해주는 시각화 툴
▶ Beat

단일 목적의 데이터 수집기, Logstash나 Elasticsearch에 데이터 전송

Elasticsearch에 직접 전송이 필요한 경우 직접 전송하면 된다.

● ELK Stack 구조

관계성 구조도(실제로도 이렇게 사용중..)




▶ ElasticSearch

- ElasticSearch는 NoSql 데이터 베이스입니다. 아파치 Lucene 검색 엔진을 기반으로 하며 Restful API로 구축되었습니다.
- ElasticSearch를 사용하면 대용량 데이터를 저장, 검색 및 분석 가능합니다.

▶ LogStach

- 데이터 수집 파이프 라인 도구 입니다.
- 데이터를 수집하고 elasticsearch에 전송합니다.
- 서로 다른곳의 데이터를 통합하곡 원하는 대상으로 데이터 정규화가 가능합니다.

Input, Filters, Output 세 부분으로 구성됩니다.
-> 이 부분은 나중에 config 설정 설명하는 부분에서 다시 설명하겠습니다.

▶ Kibana

- kibana는 ELk스택을 완성하는 데이터 시각화 도구입니다.
- kibana 대시보드는 다이어그램, 지리공간, 그래프 등등 다양한 형태의 페이지를 제공합니다.

▶ Beat와 Logstash 차이

- beat는 logstash 보다 자원 사용이 가볍다.
- logstash는 input, output option이 많다.
- logstash는 disk, 많은 메모리를 사용한다.



[참고]
https://aws.amazon.com/ko/opensearch-service/the-elk-stack/
https://sabarada.tistory.com/46
https://dzone.com/articles/filebeat-vs-logstash-the-evolution-of-a-log-shippe
https://medium.com/@knoldus/what-is-the-elk-stack-ad8398dd265e
https://www.elastic.co/kr/what-is/elk-stack
https://aws.amazon.com/ko/opensearch-service/the-elk-stack/

#elk,#elkstack

반응형

댓글