ELK 스택 튜토리얼: Kibana란 무엇입니까? Logstash & 엘라스틱서치?

• E ElasticSearch의 약자: 로그 저장에 사용됩니다.
• L LogStash의 약자입니다. 통나무의 운송 및 처리, 저장에 모두 사용됩니다.
• K Kibana의 약자: 시각화 도구 (웹 인터페이스) Nginx 또는 Apache를 통해 호스팅됩니다.

ElasticSearch, LogStash, Kibana는 모두 Elastic이라는 회사에서 개발, 관리, 유지 관리하고 있습니다.

ELK 스택은 사용자가 모든 소스, 형식의 데이터를 가져와 실시간으로 해당 데이터를 검색, 분석 및 시각화할 수 있도록 설계되었습니다.

ELK 스택 Archi강의

이제 이 ELK 스택 튜토리얼에서는 ELK 아키텍처에 대해 알아보겠습니다.

ELK 스택의 간단한 아키텍처는 다음과 같습니다.

• 로그 : 분석이 필요한 서버 로그를 식별합니다.
• Logstash: 로그 및 이벤트 데이터를 수집합니다. 데이터를 구문 분석하고 변환하기도 합니다.
• 탄력적 검색: 변환된 데이터 Logstash is 저장, 검색 및 인덱싱됩니다.
• 키바나: Kibana는 Elasticsearch DB를 사용하여 탐색, 시각화 및 공유합니다.

그러나 하나 이상의 구성 요소 또는 Beats라는 데이터 수집이 필요합니다. 이로 인해 Elastic은 ELK의 이름을 Elastic Stack으로 바꾸었습니다.

매우 많은 양의 데이터를 처리하는 동안 버퍼링과 복원력을 위해 Kafka, RabbitMQ가 필요할 수 있습니다. 보안을 위해 nginx를 사용할 수 있습니다.

이제 이 Elastic Stack 튜토리얼에서는 이러한 모든 오픈 소스 제품을 자세히 살펴보겠습니다.

엘라스틱서치란?

엘라스틱서치는 NoSQL 데이터베이스. Lucene 검색 엔진을 기반으로 하며 RESTful APIS로 구축되었습니다. 간단한 배포, 최대의 안정성 및 손쉬운 관리를 제공합니다. 또한 세부 분석을 수행하고 모든 데이터를 중앙에 저장하는 고급 쿼리를 제공합니다. 문서를 빠르게 검색하는데 도움이 됩니다.

Elasticsearch를 사용하면 방대한 양의 데이터를 저장, 검색 및 분석할 수도 있습니다. 주로 검색 요구 사항을 완료한 애플리케이션을 구동하는 기본 엔진으로 사용됩니다. 최신 웹 및 모바일 애플리케이션의 검색 엔진 플랫폼에서 채택되었습니다. 빠른 검색 외에도 이 도구는 복잡한 분석 및 많은 고급 기능도 제공합니다.

탄력적 검색의 특징

• 오픈 소스 검색 서버는 다음을 사용하여 작성되었습니다. Java
• 모든 종류의 이기종 데이터를 인덱싱하는 데 사용됩니다.
• JSON 출력이 포함된 REST API 웹 인터페이스가 있습니다.
• 전체 텍스트 검색
• NRT(Near Real Time) 검색
• 샤딩되고 복제되어 검색 가능한 JSON 문서 저장소
• 스키마 없는 REST 및 JSON 기반 분산 문서 저장소
• 다중 언어 및 위치정보 지원

엘라스틱서치의 장점

• 스키마 없는 데이터를 저장하고 데이터에 대한 스키마도 생성
• 다중 문서 API를 사용하여 기록별로 데이터 기록을 조작하세요.
• 통찰력을 얻기 위해 데이터 필터링 및 쿼리 수행
• Apache Lucene 기반으로 RESTful API 제공
• 실시간 인덱싱 사용을 위한 수평적 확장성, 안정성, 다중 테넌트 기능을 제공하여 더 빠른 검색이 가능합니다.
• 수직 및 수평으로 크기를 조정하는 데 도움이 됩니다.

Elastic Search에 사용되는 중요한 용어

이제 이 ELK 튜토리얼에서는 ElasticSearch에서 사용되는 주요 용어에 대해 알아 보겠습니다.

기간	용법
Cluster	클러스터는 함께 데이터를 보관하고 결합된 인덱싱 및 검색 기능을 제공하는 노드의 집합입니다.
노드	노드는 Elasticsearch 인스턴스입니다. Elasticsearch 인스턴스가 시작될 때 생성됩니다.
색인	인덱스는 유사한 특성을 가진 문서 모음입니다. 예를 들어, 고객 데이터, 제품 카탈로그. 인덱싱, 검색, 업데이트 및 삭제 작업을 수행하는 동안 매우 유용합니다. 하나의 클러스터에서 많은 인덱스를 정의할 수 있습니다.
문서	색인을 생성할 수 있는 정보의 기본 단위이다. JSON(키:값) 쌍으로 표현됩니다. '{“사용자”: “nullcon”}'. 모든 단일 문서는 유형 및 고유 ID와 연결됩니다.
사금파리	모든 인덱스는 여러 샤드로 분할하여 데이터를 분산할 수 있습니다. 샤드는 인덱스의 원자적 부분으로, 노드를 더 추가하려는 경우 클러스터에 분산할 수 있습니다.

Logstash?

Logstash 데이터 수집 파이프라인 도구입니다. 데이터 입력을 수집하여 Elasticsearch에 제공합니다. 다양한 소스에서 모든 유형의 데이터를 수집하여 나중에 사용할 수 있도록 합니다.

Logstash 서로 다른 소스의 데이터를 통합하고 원하는 대상으로 데이터를 정규화할 수 있습니다. 이를 통해 사용 사례의 분석 및 시각화를 위해 모든 데이터를 정리하고 민주화할 수 있습니다.

이는 세 가지 구성 요소로 구성됩니다.

• 입력: 로그를 전달하여 기계가 이해할 수 있는 형식으로 처리합니다.
• 필터: 특정 동작이나 이벤트를 수행하기 위한 조건의 집합입니다.
• 산출: 처리된 이벤트나 로그에 대한 의사결정자

특징 Logstash

이제 LogStash 튜토리얼에서 LogStash의 기능에 대해 알아보겠습니다.

• 이벤트는 내부 대기열을 사용하여 각 단계를 통해 전달됩니다.
• 로그에 대해 다양한 입력을 허용합니다.
• 로그 필터링/파싱

의 장점 Logstash

• 데이터 처리를 중앙 집중화하는 제안
• 다양한 정형/비정형 데이터 및 이벤트를 분석합니다.
• ELK LogStash는 다양한 유형의 입력 소스 및 플랫폼에 연결할 수 있는 플러그인을 제공합니다.

키바나란 무엇입니까?

Kibana는 ELK 스택을 완성하는 데이터 시각화입니다. 이 도구는 Elasticsearch 문서를 시각화하는 데 사용되며 개발자가 빠르게 통찰력을 얻는 데 도움이 됩니다. Kibana 대시보드는 다양한 대화형 다이어그램, 지리공간 데이터 및 그래프를 제공하여 복잡한 쿼리를 시각화합니다.

Elasticsearch 디렉터리에 저장된 데이터를 검색하고 보고 상호 작용하는 데 사용할 수 있습니다. Kibana는 고급 작업을 수행하는 데 도움을 줍니다. 데이터 분석 다양한 테이블, 차트, 지도로 데이터를 시각화할 수 있습니다.

Kibana에는 데이터 검색을 수행하는 다양한 방법이 있습니다.

가장 일반적인 검색 유형은 다음과 같습니다.

검색 유형	용법
무료 텍스트 검색	특정 문자열을 검색하는데 사용됩니다
필드 수준 검색	특정 필드 내에서 문자열을 검색하는 데 사용됩니다.
논리적 진술	검색어를 논리적인 문장으로 결합하는 데 사용됩니다.
근접 검색	특정 문자 범위 내에서 용어를 검색하는 데 사용됩니다.

이제 이 Kibana 튜토리얼에서는 Kibana의 중요한 기능에 대해 알아 보겠습니다.

킨바나의 특징:

• Elastic Cluster에서 인덱스된 정보를 시각화할 수 있는 강력한 프런트엔드 대시보드
• 색인된 정보의 실시간 검색이 가능합니다.
• Elasticsearch에 저장된 데이터를 검색하고, 보고, 상호 작용할 수 있습니다.
• 데이터에 대한 쿼리를 실행하고 결과를 차트, 테이블, 지도로 시각화합니다.
• Elasticsearch에서 Logstash 로그를 슬라이스하고 다이스하기 위한 구성 가능한 대시보드
• 그래프, 차트 등의 형태로 과거 데이터 제공 가능
• 쉽게 구성할 수 있는 실시간 대시보드
• Kibana ElasticSearch를 사용하면 색인화된 정보를 실시간으로 검색할 수 있습니다.

킨바나의 장점과 단점

• 쉬운 시각화
• Elasticsearch와 완전히 통합됨
• 시각화 도구
• 실시간 분석, 차트 작성, 요약 및 디버깅 기능을 제공합니다.
• 직관적이고 사용자 친화적인 인터페이스 제공
• 검색된 로그의 스냅샷을 공유할 수 있습니다.
• 대시보드 저장 및 여러 대시보드 관리를 허용합니다.

왜 로그 분석인가?

클라우드 기반 환경에서는 인프라, 성능, 격리가 매우 중요합니다. 클라우드의 가상 머신 성능은 특정 로드, 환경, 시스템의 활성 사용자 수에 따라 달라질 수 있습니다. 따라서 안정성과 노드 오류가 중요한 문제가 될 수 있습니다.

로그 관리 플랫폼 위에 주어진 모든 문제를 모니터링하고 웹 트래픽 분석을 위한 운영 체제 로그, NGINX, IIS 서버 로그, 애플리케이션 로그 및 AWS 로그를 처리할 수 있습니다.Amazon 웹 서비스).

로그 관리는 DevOps 엔지니어, 시스템 관리자가 더 나은 비즈니스 결정을 내리는 데 도움이 됩니다. 따라서 Elastic Stack이나 유사한 도구를 통한 로그 분석이 중요합니다.

ELK 대 Splunk

고라니	스플 렁크
Elk는 오픈 소스 도구입니다.	Splunk는 상용 도구입니다.
엘크 스택은 제공하지 않습니다 Solaris Kibana를 통한 이식성.	Splunk 제안 Solaris 이식성.
처리 속도는 엄격하게 제한됩니다.	정확하고 신속한 프로세스를 제공합니다.
ELK는 Elastic Search-Logstash-키바나.	Splunk는 독점 도구입니다. 온프레미스 솔루션과 클라우드 솔루션을 모두 제공합니다.
ELK 검색, 분석 및 시각화는 ELK 스택이 설정된 후에만 가능합니다.	Splunk는 귀하가 원하는 대로 사용할 수 있는 완벽한 데이터 관리 패키지입니다.
ELK 도구는 다른 도구와의 통합을 지원하지 않습니다.	Splunk는 다른 도구와의 통합을 설정하는 데 유용한 도구입니다.

고객사례

NetFlix

Netflix ELK 스택에 크게 의존합니다. 이 회사는 ELK 스택을 사용하여 고객 서비스 운영의 보안 로그를 모니터링하고 분석합니다. 이를 통해 800개 노드로 구성된 XNUMX개 이상의 클러스터에서 문서를 인덱싱, 저장 및 검색할 수 있습니다.

링크드인

유명한 소셜 미디어 마케팅 사이트 LinkedIn은 ELK 스택을 사용하여 성능과 보안을 모니터링합니다. IT 팀은 ELK를 Kafka와 통합하여 실시간으로 부하를 지원했습니다. ELK 운영에는 100개의 다른 데이터 센터에 걸쳐 XNUMX개가 넘는 클러스터가 포함됩니다.

트립 와이어

Tripwire는 세계적인 보안 정보 이벤트 관리 시스템입니다. 회사는 정보 패킷 로그 분석을 지원하기 위해 ELK를 사용합니다.

중급

Medium은 유명한 블로그 게시 플랫폼입니다. ELK 스택을 사용하여 프로덕션 문제를 디버깅합니다. 회사는 또한 ELK를 사용하여 탐지합니다. DynamoDB 냄비. 또한 이 스택을 사용하여 회사는 25만 명의 고유 독자와 매주 수천 개의 게시된 게시물을 지원할 수 있습니다.

ELK 스택의 장점과 단점

장점

• ELK는 기업의 다양한 앱 로그가 단일 ELK 인스턴스로 통합될 때 가장 잘 작동합니다.

• 이 단일 인스턴스에 대한 놀라운 통찰력을 제공하며 수백 개의 다른 로그 데이터 소스에 로그인할 필요도 없습니다.
• 신속한 현장 설치
• 저울을 수직 및 수평으로 쉽게 배포
• Elastic은 Ruby를 포함한 다양한 언어 클라이언트를 제공합니다. Python. PHP, 펄, .NET, Java및 Java스크립트 및 기타
• 다양한 프로그래밍 및 스크립팅 언어에 대한 라이브러리 가용성

단점

• 복잡한 설정으로 넘어가면 스택의 다양한 구성 요소를 처리하기 어려울 수 있습니다.
• 시행착오만큼 좋은 것은 없습니다. 따라서 더 많이 할수록 그 과정에서 더 많은 것을 배울 수 있습니다.

요약

• 중앙 집중식 로깅은 서버나 애플리케이션의 문제를 식별하려고 할 때 유용할 수 있습니다.
• ELK 서버 스택은 중앙 로깅 시스템과 관련된 문제를 해결하는 데 유용합니다.
• ELK 스택은 Elasticsearch, Logstash 키바 나
• Elasticsearch는 NoSQL 데이터베이스입니다.
• Logstash 데이터 수집 파이프라인 도구입니다
• Kibana는 ELK 스택을 완성하는 데이터 시각화입니다.
• 클라우드 기반 환경 인프라에서는 성능과 격리가 매우 중요합니다.
• ELK 스택 처리 속도는 엄격하게 제한되어 있지만 스플 렁크 정확하고 빠른 프로세스를 제공합니다
• Netflix, LinkedIn, Tripware, Medium 모두 비즈니스에 ELK 스택을 사용하고 있습니다.
• ELK Syslog는 기업의 다양한 앱 로그가 단일 ELK 인스턴스로 통합될 때 가장 잘 작동합니다.
• 복잡한 설정으로 넘어가면 스택의 다양한 구성 요소를 처리하기 어려울 수 있습니다.

우리를 참조하십시오 ElasticSearch 인터뷰 질문 및 답변 신입 지원자와 경력 지원자 모두에게 적합합니다.