ELK와 Grafana 연동 환경 구성하기

ELK는 기본적으로 Elasticsearch, Logstash, Kibana의 앞글자를 딴 시스템

Elasticsearch에서는 단일 데이터 단위를 "도큐먼트"라고 하며 이 도큐먼트를 모아놓은 집합을 인덱스라고 한다.

인덱스 용량이 커지면 인덱스 내부의 샤드수도 늘어나 관리 어려움이 발생

비용절검을 위해 디스크 유형을 나누어 저장할 경우에는 데이터의 파편화가 발생되어 시각화의 어려움이 발생

Grafana 생태계인 LGTM
Loki, Grafana, Tempo, Mirmir
: Prometheus에서 영감을 받아 개발된 수평 확장이 가능하고 가용성 높은 다중 테넌트 로그 집계 시스템

Loki는 로그에 대한 메타데이터만 인덱싱함
단기간의 데이터만 메모리에 저장하고 나머지는 S3와 같은 오브젝트 스토리지에 저장하여 Elasticsearch대비 비용과 관리편의성이 좋음

Elasticsearch의 도큐먼트를 Grafana로 그리기 위해서는 index pattern을 Grafana에 등록해야 한다.
Grafana > add data source탭에서 elasticsearch에 대한 정보 등록

참고 : 우아한 형재들 기술블로그