ELK 스택 튜토리얼: 키바나, Logstash & 엘라스틱서치

ELK 스택은 중앙 집중식 로깅 및 로그 분석을 위한 가장 널리 사용되는 오픈 소스 솔루션 중 하나입니다. 이 ELK 스택 튜토리얼에서는 Elasticsearch, Logstash그리고 Kibana는 세 가지 도구가 어떻게 서로 연동되는지, 그리고 실제 모니터링 및 관찰 가능성 작업에서 플랫폼이 어떻게 사용되는지를 보여줍니다.

ELK 스택이란 무엇입니까?

The ELK 스택 세 가지 오픈 소스 제품인 Elasticsearch, LogstashKibana는 중앙 집중식 로깅 기능을 제공하여 모든 로그를 한 곳에서 검색할 수 있도록 함으로써 서버 또는 애플리케이션 문제를 식별하는 데 도움을 줍니다. 또한 특정 기간 내에 여러 서버의 로그를 상호 연관시켜 분석할 수 있습니다.

• E Elasticsearch의 약자로, 로그 저장에 사용됩니다.
• L 용 스탠드 Logstash: 선박에 사용됨ping로그를 처리하고 저장합니다.
• K Kibana의 약자입니다. 시각화 도구 (Nginx 또는 Apache를 통해 호스팅되는) 웹 인터페이스.

엘라스틱서치, Logstash그리고 Kibana는 모두 라는 회사에서 개발, 관리 및 유지 보수합니다. 탄력있는.

ELK 스택은 사용자가 어떤 출처에서든 어떤 형식으로든 데이터를 가져와 실시간으로 검색, 분석 및 시각화할 수 있도록 설계되었습니다.

ELK 스택 Archi강의

이제 스택이 무엇인지 알았으니, 이 섹션에서는 ELK 아키텍처와 구성 요소 간의 데이터 흐름 방식을 설명합니다.

ELK 파이프라인은 각 도구가 전용 작업을 수행하는 명확한 순서를 따릅니다.

• 로그 : 분석이 필요한 서버 로그가 확인되었습니다.
• Logstash: 로그 및 이벤트 데이터를 수집한 다음, 이를 분석하고 변환합니다.
• Elasticsearch : 변환된 데이터 Logstash 저장, 검색 및 색인화됩니다.
• 키바나: Elasticsearch 데이터베이스를 사용하여 인사이트를 탐색하고 시각화하며 공유합니다.

하지만 데이터 수집을 위해 Beats라는 네 번째 구성 요소가 종종 추가됩니다. Beats는 서버에 설치되는 경량 배포 도구이며, 이를 추가하면서 Elastic은 ELK를 Elastic Stack으로 이름을 변경했습니다.

매우 많은 양의 데이터를 처리할 때는 버퍼링 및 복원력을 위해 파이프라인 앞에 Kafka 또는 RabbitMQ를 추가할 수 있습니다.

보안을 강화하기 위해 Nginx와 같은 리버스 프록시를 스택 앞에 배치할 수 있습니다.

아키텍처를 염두에 두고, 다음 섹션에서는 스택에 포함된 각 오픈 소스 제품을 자세히 살펴보겠습니다.

엘라스틱서치란?

엘라스틱서치는 NoSQL 데이터베이스 루센 검색 엔진을 기반으로 하며 RESTful API로 구축되었습니다. 간편한 배포, 높은 안정성, 손쉬운 관리를 제공하며, 모든 데이터를 중앙 집중식으로 저장하여 고급 쿼리와 빠른 문서 검색을 실행할 수 있습니다.

Elasticsearch는 대용량 데이터를 저장, 검색 및 분석할 수 있도록 해줍니다. 특히 검색 요구 사항이 까다로운 애플리케이션의 기반 엔진으로 가장 많이 사용됩니다.

Elasticsearch는 빠른 검색 속도에 더해 분석 기능과 다양한 고급 기능을 제공하기 때문에 최신 웹 및 모바일 애플리케이션의 검색 플랫폼에서 널리 채택되고 있습니다.

엘라스틱서치의 특징

Elasticsearch는 데이터 인덱싱 및 검색을 위한 풍부한 기능을 제공합니다.

• 오픈소스 검색 서버 (문헌 정보 없음) Java.
• 모든 종류의 이기종 데이터를 인덱싱할 수 있습니다.
• JSON 출력을 제공하는 REST API 웹 인터페이스입니다.
• 전문 검색.
• 거의 실시간(NRT) 검색.
• 분할, 복제 및 검색이 가능한 JSON 문서 저장소.
• 스키마가 없는 REST 및 JSON 기반 분산 문서 저장소.
• 다국어 및 지리 위치 정보 지원.

엘라스틱서치의 장점

• 스키마가 없는 데이터를 저장할 수 있으며, 데이터에 대한 스키마를 생성할 수도 있습니다.
• 여러 문서 API를 사용하여 레코드를 하나씩 조작할 수 있습니다.
• 데이터 필터링 및 쿼리를 지원하여 인사이트를 도출할 수 있습니다.
• Apache Lucene을 기반으로 하며 RESTful API를 제공합니다.
• 실시간 인덱싱 및 빠른 검색을 위해 수평적 확장성, 안정성 및 멀티테넌트 기능을 제공합니다.
• 세로 및 가로 확장을 모두 지원합니다.

아래 표는 Elasticsearch를 사용할 때 접하게 될 주요 용어들을 설명합니다.

기간	용법
Cluster	클러스터는 데이터를 함께 저장하고 통합된 인덱싱 및 검색 기능을 제공하는 노드들의 모음입니다.
노드	노드는 단일 Elasticsearch 인스턴스를 의미합니다. Elasticsearch 인스턴스가 시작될 때 생성됩니다.
색인	인덱스는 고객 데이터나 제품 카탈로그처럼 유사한 특성을 공유하는 문서들의 모음입니다. 인덱스는 인덱싱, 검색, 업데이트 및 삭제 작업에 유용하며, 하나의 클러스터에 여러 개의 인덱스를 정의할 수 있습니다.
문서	문서는 인덱싱할 수 있는 기본 정보 단위입니다. 문서는 JSON 키-값 쌍으로 표현되며, 모든 문서에는 유형과 고유 ID가 연결됩니다.
사금파리	모든 인덱스는 데이터를 분산시키기 위해 여러 개의 샤드로 분할할 수 있습니다. 샤드는 인덱스의 최소 단위이며, 노드를 추가함에 따라 클러스터 전체에 분산될 수 있습니다.

Logstash?

Logstash 이는 스택의 데이터 수집 파이프라인 도구입니다. 데이터 입력을 수집하여 Elasticsearch에 공급하고, 다양한 소스에서 모든 유형의 데이터를 수집하여 추가 활용이 가능하도록 합니다.

Logstash 서로 다른 소스의 데이터를 통합하고 원하는 형식으로 정규화할 수 있습니다. 이를 통해 다양한 분석 및 시각화 사용 사례에 맞춰 모든 데이터를 정제하고 활용도를 높일 수 있습니다.

이는 세 가지 구성 요소로 구성됩니다.

• 입력: 로그를 입력받아 기계가 읽을 수 있는 형식으로 변환합니다.
• 필터 : 어떤 사건에 대해 특정한 동작을 수행하는 조건들의 집합.
• 출력: 처리된 각 이벤트 또는 로그를 라우팅하는 의사 결정자.

특징 Logstash

Logstash 로그 처리를 유연하게 만들어주는 여러 기능이 포함되어 있습니다.

• 이벤트는 내부 큐를 사용하여 각 단계를 거칩니다.
• 로그에 다양한 입력값을 허용합니다.
• 로그 필터링 및 구문 분석을 지원합니다.

의 장점 Logstash

• 데이터 처리를 중앙 집중화합니다.
• 다양한 형태의 정형 및 비정형 데이터와 이벤트를 분석합니다.
• 다양한 입력 소스 및 플랫폼과 연결할 수 있는 플러그인을 제공합니다.

키바나란 무엇입니까?

Kibana는 ELK 스택을 완성하는 데이터 시각화 도구입니다. Elasticsearch 문서를 시각화하는 데 사용되며, 개발자가 대화형 다이어그램, 지리 공간 데이터 및 그래프를 통해 데이터에 대한 통찰력을 빠르게 얻을 수 있도록 지원하고 복잡한 쿼리를 쉽게 이해할 수 있도록 합니다.

Kibana를 사용하면 Elasticsearch 인덱스에 저장된 데이터를 검색, 조회 및 상호 작용할 수 있습니다. 또한 고급 분석 작업도 수행할 수 있습니다. 데이터 분석 다양한 표, 차트, 지도를 활용하여 데이터를 제시하십시오.

Kibana는 데이터를 검색하는 여러 가지 방법을 지원합니다. 가장 일반적인 검색 유형은 다음과 같습니다.

검색 유형	용법
무료 텍스트 검색	특정 문자열을 검색하는 데 사용됩니다.
필드 수준 검색	특정 필드 내에서 문자열을 검색하는 데 사용됩니다.
논리적 진술	검색 결과를 논리적인 문장으로 결합하는 데 사용됩니다.
근접 검색	특정 문자 간격 내에서 검색어를 입력하는 데 사용됩니다.

Kibana는 인덱싱된 데이터를 탐색하기 위한 여러 강력한 기능도 제공합니다.

• Elasticsearch 클러스터에서 인덱싱된 정보를 시각화하는 강력한 프런트엔드 대시보드입니다.
• 색인된 정보를 실시간으로 검색할 수 있습니다.
• Elasticsearch에 저장된 데이터를 검색, 조회 및 상호 작용할 수 있습니다.
• 데이터에 대한 쿼리를 실행하고 결과를 차트, 표 및 지도로 시각화합니다.
• 데이터를 분석하고 분류할 수 있는 맞춤형 대시보드 Logstash Elasticsearch에 로그가 저장됩니다.
• 그래프, 차트 등 다양한 형태로 과거 데이터를 제공합니다.
• 설정이 간편한 실시간 대시보드를 제공합니다.

키바나의 장점과 단점

다른 모든 도구와 마찬가지로 Kibana는 그 인기를 설명해 주는 분명한 강점을 가지고 있습니다.

• 데이터를 쉽게 시각화할 수 있습니다.
• 엘라스틱서치와 완벽하게 통합되었습니다.
• 시각화 전용 도구 역할을 합니다.
• 실시간 분석, 차트 작성, 요약 및 디버깅 기능을 제공합니다.
• 직관적이고 사용자 친화적인 인터페이스를 제공합니다.
• 검색한 로그의 스냅샷을 공유할 수 있습니다.
• 여러 대시보드를 저장하고 관리할 수 있습니다.

또한 몇 가지 제한 사항을 염두에 두어야 합니다.

• 이 프로그램은 데이터 소스로 Elasticsearch만 사용합니다.
• 복잡한 대시보드를 구축하고 조정하는 데에는 상당한 학습 곡선이 필요할 수 있습니다.

왜 로그 분석인가?

클라우드 기반 인프라에서는 성능과 격리가 매우 중요합니다.

클라우드 환경의 가상 머신 성능은 특정 부하, 환경 및 활성 사용자 수에 따라 달라질 수 있으므로 안정성과 노드 장애는 중요한 문제가 될 수 있습니다.

A 로그 관리 플랫폼 이러한 모든 문제를 모니터링할 수 있습니다. 또한 운영 체제 로그, Nginx 및 IIS 웹 서버 로그를 처리하여 트래픽을 분석하고, 애플리케이션 로그 및 AWS에서 생성된 로그를 처리할 수 있습니다.Amazon 웹 서비스).

궁극적으로 로그 관리는 도움이 됩니다. DevOps (개발 운영) 엔지니어와 시스템 관리자는 데이터에 기반한 더 나은 의사 결정을 내릴 수 있습니다. 이것이 바로 Elastic Stack 또는 유사한 도구를 통한 로그 분석이 필수적인 이유입니다.

ELK 대 Splunk

흔히 받는 질문 중 하나는 ELK 스택이 다른 제품들과 어떻게 비교되는지에 대한 것입니다. 스플 렁크널리 사용되는 상업적 대안입니다. 아래 표는 주요 차이점을 요약한 것입니다.

고라니	스플 렁크
ELK는 오픈 소스 도구입니다.	Splunk는 상용 도구입니다.
엘크는 제공하지 않습니다 Solaris 키바나 덕분에 휴대성이 뛰어납니다.	Splunk 제안 Solaris 휴대 성.
처리 속도는 엄격하게 제한됩니다.	정확하고 신속한 처리를 제공합니다.
ELK는 Elasticsearch, Logstash그리고 키바나.	Splunk는 온프레미스 및 클라우드 솔루션을 모두 제공하는 독점 도구입니다.
ELK에서는 스택 설정이 완료된 후에만 검색, 분석 및 시각화가 가능합니다.	Splunk는 별도의 설정 없이 바로 사용할 수 있는 완벽한 데이터 관리 패키지입니다.
ELK는 다른 도구와의 통합 기능이 제한적으로 내장되어 있습니다.	Splunk는 다른 도구와의 통합을 설정하는 데 유용합니다.

고객 사례

많은 유명 기업들이 대규모 로깅 및 분석 운영을 위해 ELK 스택을 사용하고 있습니다. 아래 예시는 실제 운영 환경에서 ELK 스택이 어떻게 활용되는지 보여줍니다.

Netflix

Netflix 이 회사는 고객 서비스 운영의 보안 로그를 모니터링하고 분석하기 위해 ELK 스택에 크게 의존합니다. 이 플랫폼을 통해 Netflix 약 800개의 노드로 구성된 15개 이상의 클러스터에 걸쳐 문서를 색인화하고 저장하고 검색합니다.

링크드인

전문 네트워킹 사이트인 링크드인은 성능 및 보안 모니터링을 위해 ELK 스택을 사용합니다. 링크드인 팀은 실시간으로 부하를 처리하기 위해 ELK를 Kafka와 통합했으며, 이 시스템은 6개의 데이터 센터에 걸쳐 100개 이상의 클러스터에서 운영됩니다.

트립 와이어

글로벌 보안 정보 및 이벤트 관리(SIEM) 솔루션 제공업체인 Tripwire는 정보 패킷 로그 분석을 지원하기 위해 ELK 스택을 사용합니다.

중급

인기 블로그 게시 플랫폼인 Medium은 ELK 스택을 사용하여 운영 문제를 디버깅하고 오류를 감지합니다. DynamoDB 핫스팟. 이 기술 스택은 회사가 매주 25만 명의 순방문자와 수천 개의 새로운 게시물을 지원하는 데 도움이 됩니다.

엘크 스택의 장점과 단점

장점

ELK 스택은 널리 채택되고 있는 여러 가지 장점을 제공합니다.

• 기업 내 다양한 ​​애플리케이션의 로그가 단일 ELK 인스턴스로 통합될 때 가장 효과적입니다.
• 이 기능은 단일 인스턴스에서 풍부한 통찰력을 제공하며 수백 개의 개별 데이터 소스에 로그인할 필요성을 없애줍니다.
• 신속한 현장 설치.
• 배포가 간편하고 수직적 및 수평적으로 확장 가능합니다.
• Elastic은 Ruby를 비롯한 다양한 언어 클라이언트를 제공합니다. PythonPHP, Perl, .NET, Java예산 및 Java스크립트.
• 다양한 프로그래밍 및 스크립팅 언어용 라이브러리를 사용할 수 있습니다.

단점

여러 장점에도 불구하고, ELK 스택에는 고려해야 할 몇 가지 단점이 있습니다.

• 구성 요소가 복잡해질수록 관리가 어려워질 수 있습니다.
• 실제로 배우는 데 시간이 걸리므로 경험을 쌓는 과정에서 시행착오를 겪을 수 있다는 점을 예상하세요.

자주 묻는 질문