Apache NiFi 튜토리얼: NiFi란 무엇입니까? Archi강의 및 설치

Apache NiFi 튜토리얼 요약

이 Apache NiFi 튜토리얼은 기본부터 고급 주제까지 처음부터 모두 다룹니다. 당신은 배울 것이다 concepts NiFi 정의, 역사, archi강의, 기능, 설치 과정, 사용 사례. 또한 Apache NiFi를 사용해야 하는 이유와 Apache NiFi 실행 모범 사례도 알아봅니다.

아파치 NiFi란 무엇입니까?

아파치 나이파이 시스템 간의 데이터 흐름을 자동화하고 관리하기 위한 오픈 소스 소프트웨어입니다. 데이터를 처리하고 배포하는 강력하고 안정적인 시스템입니다. 데이터 흐름을 생성, 모니터링 및 제어할 수 있는 웹 기반 사용자 인터페이스를 제공합니다. 런타임에 데이터를 수정하기 위해 고도로 구성 가능하고 수정 가능한 데이터 흐름 프로세스가 있습니다.

Apache NiFi는 맞춤형 구성요소 개발을 통해 쉽게 확장 가능합니다.

Apache NIfi를 사용하는 이유는 무엇입니까?

Apache Nifi를 사용하는 이유는 다음과 같습니다.

  • 데이터 수집을 수행하여 수많은 데이터 소스에서 NiFi로 데이터를 가져오고 흐름 파일을 생성할 수 있습니다.
  • 모든 소스와 대상 간의 데이터 이동을 관리하는 데 도움이 되는 실시간 제어 기능을 제공합니다.
  • 엔터프라이즈 수준에서 DataFlow 시각화
  • 공통 도구 및 확장 제공
  • 기존 라이브러리와 Java를 활용할 수 있습니다. ecos시스템 기능
  • 조직이 Nifi를 기존 인프라와 통합하도록 지원합니다.
  • NiFi는 확장 가능하도록 설계되었습니다. cluster보장된 데이터 전달을 제공하는
  • 통찰력과 인라인 문서를 제공하는 흐름 게시판에서 성능, 동작을 시각화하고 모니터링합니다.
  • 개별적으로 또는 그룹 수준에서 구성 요소를 시작하고 중지하는 데 도움이 됩니다.
  • Dataflow를 수신하고, 가져오고, 분할하고, 집계하고, 라우팅하고, 변환하고, 드래그 앤 드롭하는 데 도움이 됩니다.

아파치 NiFi의 역사

  • NSA에서 XNUMX년 넘게 개발
  • 2014- Apache Software에 기증되었습니다. Foundation
  • 2015년 - NiFi가 Apache Project Suite의 공식 일부가 되었습니다.
  • 그 이후로 6~8주마다 Apache NiFi는 새로운 업데이트를 출시합니다.

니파이 Archi강의

Apache NiFi에는 잘 고안된 기능이 있습니다. archi강의. 외부 소스에서 데이터를 가져오면 Apache NiFi 내에서 FlowFile로 표시됩니다. archi강의.

니파이 Archi강의
니파이 Archi강의

NiFi의 주요 구성 요소는 다음과 같습니다. archi강의

니피 구성 요소 상품 설명
플로우파일 FlowFile은 메타정보가 첨부된 원본 데이터입니다. CSV 또는 기타 기록 기반 데이터뿐만 아니라 사진, 비디오, 오디오 또는 기타 바이너리 데이터도 처리할 수 있습니다.
플로우파일 프로세서 NiFi에서 데이터 흐름의 구성 요소 역할을 하는 작업을 수행합니다.
흐름 컨트롤러 프로세스가 어떻게 연결되었는지 기록합니다. 모든 프로세스가 사용하는 스레드와 할당을 관리합니다.
웹 서버 웹 서버는 NiFi의 HTTP 기반 명령과 API를 호스팅합니다.
확장 NiFi 확장에는 다양한 유형이 있습니다. operaJVM 내에서 실행하고 실행합니다.
연결 데이터가 라우팅되는 위치에 영향을 미치는 관계와 대기열을 포함하는 프로세서 간의 연결 역할을 합니다.
배압 큐에 저장할 수 있는 플로우 파일의 수량이나 데이터 크기를 제어하여 시스템 오버런을 방지합니다.
프로세스 그룹 프로세스 그룹은 포트를 통해 데이터를 수신하고 전송하는 프로세스 및 해당 연결의 집합입니다.
플로우파일 저장소 FlowFile 저장소에서 NiFi는 파일의 상태를 추적합니다.tails 이는 흐름에서 활성화된 특정 FlowFile에 대한 정보를 가지고 있습니다.
콘텐츠 저장소 Content Repository는 주어진 FlowFile의 실제 콘텐츠 바이트가 존재하는 영역입니다.
출처 저장소 출처 저장소는 모든 출처 이벤트 데이터가 수집되는 영역입니다.

아파치 NiFi 기능

  • NiFi 지원 buffer대기열에 있는 모든 데이터를 처리하고 해당 대기열이 지정된 제한에 도달할 수 있으므로 역압 기능을 제공합니다.
  • NiFi를 사용하면 하나 이상의 우선순위 체계를 설정할 수 있습니다.
  • 다양한 데이터 소스에 대한 연결 프로세서 제공
  • Java를 실행하는 모든 장치 지원
  • 제한된 연결 장소에 이상적
  • 문제 해결 및 흐름 최적화 지원
  • 역할 기반 인증/권한 부여 제공
  • 개별 파일의 다운로드, 복구 및 재생을 허용합니다.
  • 프로세서, 컨트롤러 서비스 등을 구축하세요
  • 콘텐츠 암호화, 보안 프로토콜을 통한 통신 제공
  • 신속한 개발과 효과적인 테스트 가능
  • 더 많은 통신을 만들기 위해 재사용 및 결합할 수 있는 간단한 단일 기능 구성 요소의 개발을 허용합니다.plex 흐름
  • 더 쉬운 종속성 관리를 위해 클래스로더 격리를 허용합니다.

아파치 NiFi를 설치하는 방법

다음은 Apache NiFi 설치를 위한 단계별 프로세스입니다.

단계 1) We Buy Orders 신청서를 클릭하세요. 링크,

그리고 '구독 계속'을 클릭하세요.

아파치 NiFi 설치

단계 2) 다음 페이지에서,

“약관 동의”를 클릭하세요.

아파치 NiFi 설치

단계 3) 이 페이지가 보이실 텐데요,

이 상품을 구독해주셔서 감사합니다! 귀하의 요청을 처리 중입니다.

아파치 NiFi 설치

단계 4) 5분 후에 페이지를 새로 고칩니다.

"구성 계속"을 클릭하세요.

아파치 NiFi 설치

단계 5) 다음 페이지에서,

설정을 기본값으로 유지하고 "계속 실행"을 클릭하세요.

아파치 NiFi 설치

단계 6) 다음 페이지에서,

실행을 클릭하세요. 키를 만들어야 할 수도 있습니다.

아파치 NiFi 설치

단계 7) 이 성공 메시지가 표시됩니다.

축하해요! 이 소프트웨어의 인스턴스가 성공적으로 배포되었습니다.yed EC2에서!

아파치 NiFi 설치

단계 8) 노트,

EC2 인스턴스의 인스턴스 ID와 퍼블릭 DNS

아파치 NiFi 설치

단계 9) 보안그룹에서는

인바운드 및 아웃바운드에 모든 트래픽 규칙 추가

아파치 NiFi 설치

단계 10) Nifi에 액세스하려면,

간단히 URL을 사용하세요

http://publicdns:808/nifi

우리의 경우에는

http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/

사용자: 관리자

비밀번호: 인스턴스 ID

아파치 NiFi 설치

단계 11) 당신은 볼 것이다,

NiFi 홈 화면

아파치 NiFi 설치

Nifi 사용 사례

다음은 Apache NiFi 사용 사례 목록입니다.

산업별 용법
보험
  • 위험 및 인수 분석
  • 청구 분석
  • 사용량 기반 보험
  • 신제품 개발
헬스 케어
  • 환자의 단일 보기
  • 실시간 생체신호 모니터링
  • EMR 최적화
  • 공급망 최적화
전기 통신
  • 고객에 대한 단일보기
  • CDR 분석
  • 동적 대역폭 할당
제조
  • 예방 유지 보수
  • 공급망 최적화
  • 품질 관리
석유 및 가스 산업
  • 실시간 모니터링
  • 단일 보기 Opera기
  • 예측 유지 보수
  • Archive 및 분석
  • 구조화되지 않은 데이터 분류
금융 서비스
  • 자금 세탁 방지
  • 사기 탐지
  • 위험 데이터 관리

Apache NiFi 실행 모범 사례

  • NiFi에서 테스트/개발/생산 환경을 분리하는 데 이상적입니다.
  • 흐름을 프로세스 그룹으로 나누어야 합니다.
  • 명명 규칙을 사용하고 주석과 레이블을 사용하십시오.
  • 프로젝트를 수집, 테스트, 모니터링의 세 부분으로 구성하세요.
  • 변수에 고유한 이름 사용

니피의 단점

  • 정확한 보안 및 규정 준수 제어가 필요함
  • Apache NiFi로 작업하는 동안 기본 시스템을 잘 알아야 합니다.
  • 데이터에 대한 관리 연속성을 유지해야 함
  • 전송/메시지가 충분하지 않을 수 있음
  • 데이터 액세스 요구 사항이 전송에 사용 가능한 리소스를 초과합니다.
  • 모든 데이터가 동일하게 생성되는 것은 아닙니다.
  • SSL 및 주제 수준 인증이 충분하지 않을 수 있습니다.

요약

  • Apache NiFi는 시스템 간 데이터 흐름을 자동화하고 관리하기 위한 오픈 소스 소프트웨어입니다.
  • NiFi는 확장 가능하도록 설계되었습니다. cluster보장된 데이터 전달을 제공하는
  • Nifi는 NSA에서 XNUMX년 넘게 개발되었습니다.
  • 외부 소스에서 데이터를 가져오면 Apache NiFi 내에서 FlowFile로 표시됩니다. archi강의.
  • FlowFile, 프로세서, 컨트롤러, 웹 서버, 연결, 배압, 저장소는 NiFi의 중요한 구성 요소입니다. archi강의
  • NiFi 표현 언어는 Java를 실행하는 모든 장치를 지원합니다.
  • AWS에 NiFi를 쉽게 설치할 수 있습니다
  • NiFi는 의료, 보험, 통신, 제조, 금융, 석유 및 가스 등 다양한 산업 분야에서 사용됩니다.
  • 가장 좋은 방법은 프로젝트를 수집, 테스트, 모니터링의 세 부분으로 구성하는 것입니다.