Apache NiFi 튜토리얼: NiFi란 무엇입니까? Archi강의 및 설치
데이비드 카터
Apache NiFi 튜토리얼 요약
이 아파치 NiFi 튜토리얼은 모든 기본에서 고급 주제를 처음부터 다룹니다. NiFi 정의, 역사, 아키텍처, 기능, 설치 프로세스, 사용 사례와 같은 개념을 배우게 됩니다. 또한 아파치 NiFi를 사용해야 하는 이유와 아파치 NiFi를 실행하는 모범 사례도 배우게 됩니다.
아파치 NiFi란 무엇입니까?
아파치 나이파이 시스템 간의 데이터 흐름을 자동화하고 관리하기 위한 오픈 소스 소프트웨어입니다. 데이터를 처리하고 배포하는 강력하고 안정적인 시스템입니다. 데이터 흐름을 생성, 모니터링 및 제어할 수 있는 웹 기반 사용자 인터페이스를 제공합니다. 런타임에 데이터를 수정하기 위해 고도로 구성 가능하고 수정 가능한 데이터 흐름 프로세스가 있습니다.
Apache NiFi는 맞춤형 구성요소 개발을 통해 쉽게 확장 가능합니다.
Apache NIfi를 사용하는 이유는 무엇입니까?
Apache Nifi를 사용하는 이유는 다음과 같습니다.
- 데이터 수집을 수행하여 수많은 데이터 소스에서 NiFi로 데이터를 가져오고 흐름 파일을 생성할 수 있습니다.
- 모든 소스와 대상 간의 데이터 이동을 관리하는 데 도움이 되는 실시간 제어 기능을 제공합니다.
- 엔터프라이즈 수준에서 DataFlow 시각화
- 공통 도구 및 확장 제공
- 기존 라이브러리를 활용할 수 있으며 Java 생태계 기능
- 조직이 Nifi를 기존 인프라와 통합하도록 지원합니다.
- NiFi는 보장된 데이터 전송을 제공하는 클러스터로 확장되도록 설계되었습니다.
- 통찰력과 인라인 문서를 제공하는 흐름 게시판에서 성능, 동작을 시각화하고 모니터링합니다.
- 개별적으로 또는 그룹 수준에서 구성 요소를 시작하고 중지하는 데 도움이 됩니다.
- Dataflow를 수신하고, 가져오고, 분할하고, 집계하고, 라우팅하고, 변환하고, 드래그 앤 드롭하는 데 도움이 됩니다.
아파치 NiFi의 역사
- NSA에서 XNUMX년 넘게 개발
- 2014- Apache Software에 기증되었습니다. Foundation
- 2015년 - NiFi가 Apache Project Suite의 공식 일부가 되었습니다.
- 그 이후로 6~8주마다 Apache NiFi는 새로운 업데이트를 출시합니다.
니파이 Archi강의
Apache NiFi는 잘 고안된 아키텍처를 가지고 있습니다. 외부 소스에서 데이터를 가져오면 Apache NiFi 아키텍처 내에서 FlowFile로 표현됩니다.
NiFi 아키텍처의 핵심 구성 요소는 다음과 같습니다.
| 니피 구성 요소 | 상품 설명 |
|---|---|
| 플로우파일 | FlowFile은 메타정보가 첨부된 원본 데이터입니다. CSV 또는 기타 기록 기반 데이터뿐만 아니라 사진, 비디오, 오디오 또는 기타 바이너리 데이터도 처리할 수 있습니다. |
| 플로우파일 프로세서 | NiFi에서 데이터 흐름의 구성 요소 역할을 하는 작업을 수행합니다. |
| 흐름 컨트롤러 | 프로세스가 어떻게 연결되었는지 기록합니다. 모든 프로세스가 사용하는 스레드와 할당을 관리합니다. |
| 웹 서버 | 웹 서버는 NiFi의 HTTP 기반 명령과 API를 호스팅합니다. |
| 확장 | JVM 내에서 작동하고 실행되는 여러 유형의 NiFi 확장 기능이 있습니다. |
| 연결 | 데이터가 라우팅되는 위치에 영향을 미치는 관계와 대기열을 포함하는 프로세서 간의 연결 역할을 합니다. |
| 배압 | 큐에 저장할 수 있는 플로우 파일의 수량이나 데이터 크기를 제어하여 시스템 오버런을 방지합니다. |
| 프로세스 그룹 | 프로세스 그룹은 포트를 통해 데이터를 수신하고 전송하는 프로세스 및 해당 연결의 집합입니다. |
| 플로우파일 저장소 | NiFi는 FlowFile 저장소에서 흐름에서 활성화된 특정 FlowFile에 대한 세부정보의 상태를 추적합니다. |
| 콘텐츠 저장소 | Content Repository는 주어진 FlowFile의 실제 콘텐츠 바이트가 존재하는 영역입니다. |
| 출처 저장소 | 출처 저장소는 모든 출처 이벤트 데이터가 수집되는 영역입니다. |
아파치 NiFi 기능
- NiFi는 대기 중인 모든 데이터의 버퍼링을 지원하고 대기열이 지정된 한도에 도달할 수 있으므로 백프레셔 기능을 제공합니다.
- NiFi를 사용하면 하나 이상의 우선순위 체계를 설정할 수 있습니다.
- 다양한 데이터 소스에 대한 연결 프로세서 제공
- 실행되는 모든 장치 지원 Java
- 제한된 연결 장소에 이상적
- 문제 해결 및 흐름 최적화 지원
- 역할 기반 인증/권한 부여 제공
- 개별 파일의 다운로드, 복구 및 재생을 허용합니다.
- 프로세서, 컨트롤러 서비스 등을 구축하세요
- 콘텐츠 암호화, 보안 프로토콜을 통한 통신 제공
- 신속한 개발과 효과적인 테스트 가능
- 재사용 및 결합하여 더 복잡한 흐름을 만들 수 있는 간단한 단일 기능 구성 요소를 개발할 수 있습니다.
- 더 쉬운 종속성 관리를 위해 클래스로더 격리를 허용합니다.
아파치 NiFi를 설치하는 방법
다음은 Apache NiFi 설치를 위한 단계별 프로세스입니다.
단계 1) We Buy Orders 신청서를 클릭하세요. 링크,
그리고 '구독 계속'을 클릭하세요.
단계 2) 다음 페이지에서,
“약관 동의”를 클릭하세요.
단계 3) 이 페이지가 보이실 텐데요,
이 상품을 구독해주셔서 감사합니다! 귀하의 요청을 처리 중입니다.
단계 4) 5분 후에 페이지를 새로 고칩니다.
"구성 계속"을 클릭하세요.
단계 5) 다음 페이지에서,
설정을 기본값으로 유지하고 "계속 실행"을 클릭하세요.
단계 6) 다음 페이지에서,
실행을 클릭하세요. 키를 만들어야 할 수도 있습니다.
단계 7) 이 성공 메시지가 표시됩니다.
축하합니다! 이 소프트웨어의 인스턴스가 EC2에 성공적으로 배포되었습니다!
단계 8) 노트,
EC2 인스턴스의 인스턴스 ID와 퍼블릭 DNS
단계 9) 보안그룹에서는
인바운드 및 아웃바운드에 모든 트래픽 규칙 추가
단계 10) Nifi에 액세스하려면,
간단히 URL을 사용하세요
http://publicdns:8080/nifi
우리의 경우에는
http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/
사용자: 관리자
비밀번호: 인스턴스 ID
단계 11) 당신은 볼 것이다,
NiFi 홈 화면
Nifi 사용 사례
다음은 Apache NiFi 사용 사례 목록입니다.
| 업종 | 용법 |
|---|---|
| 보험 |
|
| 헬스 케어 |
|
| 전기 통신 |
|
| 제조 |
|
| 석유 및 가스 산업 |
|
| 금융 서비스 |
|
모범 사례 Apache NiFi 실행
- NiFi에서 테스트/개발/생산 환경을 분리하는 데 이상적입니다.
- 흐름을 프로세스 그룹으로 나누어야 합니다.
- 명명 규칙을 사용하고 주석과 레이블을 사용하십시오.
- 프로젝트를 수집, 테스트, 모니터링의 세 부분으로 구성하세요.
- 변수에 고유한 이름 사용
니피의 단점
- 정확한 보안 및 규정 준수 제어가 필요함
- Apache NiFi로 작업하는 동안 기본 시스템을 잘 알아야 합니다.
- 데이터에 대한 관리 연속성을 유지해야 함
- 전송/메시지가 충분하지 않을 수 있음
- 데이터 액세스 요구 사항이 전송에 사용 가능한 리소스를 초과합니다.
- 모든 데이터가 동일하게 생성되는 것은 아닙니다.
- SSL 및 주제 수준 인증이 충분하지 않을 수 있습니다.
요약
- Apache NiFi는 시스템 간 데이터 흐름을 자동화하고 관리하기 위한 오픈 소스 소프트웨어입니다.
- NiFi는 보장된 데이터 전송을 제공하는 클러스터로 확장되도록 설계되었습니다.
- Nifi는 NSA에서 XNUMX년 넘게 개발되었습니다.
- 외부 소스에서 데이터를 가져오면 Apache NiFi 아키텍처 내에서 FlowFile로 표현됩니다.
- FlowFile, 프로세서, 컨트롤러, 웹 서버, 연결, 백프레셔, 리포지토리는 NiFi 아키텍처의 중요한 구성 요소입니다.
- NiFi 표현 언어는 실행되는 모든 장치를 지원합니다. Java
- AWS에 NiFi를 쉽게 설치할 수 있습니다
- NiFi는 의료, 보험, 통신, 제조, 금융, 석유 및 가스 등 다양한 산업 분야에서 사용됩니다.
- 가장 좋은 방법은 프로젝트를 수집, 테스트, 모니터링의 세 부분으로 구성하는 것입니다.