Apache NiFi Eğitimi

⚡ Akıllı Özet

Apache NiFi Eğitimi, sistemler arasında otomatik ve güvenilir veri akışı sağlamak üzere tasarlanmış açık kaynaklı veri entegrasyon platformunu açıklamaktadır. LessBu kılavuz, mimari, işlemciler, terminoloji, özellikler, kurulum, kullanım senaryoları, avantajlar, dezavantajlar ve üretim ortamlarına dağıtım için en iyi uygulamaları kapsamaktadır.

🔁 Akış Tabanlı Tasarım: NiFi, yönlendirilmiş kuyruklarla birbirine bağlı yapılandırılabilir işlemcilerden veri akışları oluşturmak için görsel bir tuval kullanır.
🏗️ Dağıtılmış Archidoku: Web sunucusu, akış denetleyicisi ve depolar, ölçeklenebilir ve hataya dayanıklı veri aktarımı için bir araya geliyor.
⚙️ Zengin İşlemci Kütüphanesi: Yüzlerce işlemci Kafka, MQTT, REST API'leri, veritabanları, dosya sistemleri ve bulut kaynaklarını işliyor.
🔒 Güçlü Güvenlik: TLS, çoklu kiracı yetkilendirmesi ve şifrelenmiş depolar, kurumsal veri yönetimini güçlendirir.
📊 Baştan Sona Menşei Takibi: Her FlowFile şöyledir: tracDenetim, hata ayıklama ve uyumluluk amacıyla, veri kaynağından hedef noktaya kadar izlenir.
🤖 Yapay Zeka İşlem Hattı Hazır: NiFi'yi LLM uç noktaları ve vektör veritabanlarıyla birleştirerek, veri alma işlemlerini destekleyen üretim iş akışları oluşturun.

Devamını Oku

Apache NiFi Eğitim Özeti

Bu apache NiFi eğitimi, sıfırdan temel ve ileri düzey tüm konuları kapsar. NiFi tanımı, geçmişi, mimarisi, özellikleri, kurulum süreci, kullanım durumları gibi kavramları öğreneceksiniz. Ayrıca neden apache NiFi kullanmanız gerektiğini ve apache NiFi'yi çalıştırmanın en iyi uygulamalarını da öğreneceksiniz.

Apache NiFi nedir?

Apache NiFi sistemler arasındaki veri akışını otomatikleştirmek ve yönetmek için kullanılan açık kaynaklı bir yazılımdır. Verileri işlemek ve dağıtmak için güçlü ve güvenilir bir sistemdir. Veri akışlarını oluşturmak, izlemek ve kontrol etmek için web tabanlı Kullanıcı Arayüzü sağlar. Çalışma zamanında verileri değiştirmek için son derece yapılandırılabilir ve değiştirilebilir bir veri akış sürecine sahiptir.

Apache NiFi, özel bileşenlerin geliştirilmesi yoluyla kolayca genişletilebilir.

Neden Apache NIfi Kullanmalı?

Apache Nifi'yi kullanmanın nedenleri şunlardır:

Çok sayıda veri kaynağından verileri NiFi'ye çekmek ve akış dosyaları oluşturmak için veri alımı yapmanıza olanak tanır
Verilerin herhangi bir kaynak ve hedef arasındaki hareketini yönetmenize yardımcı olan gerçek zamanlı kontrol sunar
DataFlow'u kurumsal düzeyde görselleştirin
Ortak araçlar ve uzantılar sağlayın
Mevcut kütüphanelerden faydalanmanızı sağlar ve Java ekosistem işlevselliği
Kuruluşların Nifi'yi mevcut altyapılarıyla entegre etmelerine yardımcı olur
NiFi, garantili veri teslimatı sunan kümelerde ölçeği genişletmek üzere tasarlanmıştır
İçgörü ve satır içi belgeler sunan bir akış bülteninde performansı ve davranışı görselleştirin ve izleyin
Bileşenleri ayrı ayrı veya grup düzeyinde başlatmanıza ve durdurmanıza yardımcı olur
Dataflow'u dinlemenize, almanıza, bölmenize, birleştirmenize, yönlendirmenize, dönüştürmenize ve sürükleyip bırakmanıza yardımcı olur

Apache NiFi'nin Tarihçesi

NSA'da sekiz yılı aşkın süredir geliştirildi
2014- Apache Yazılımına bağışlandı Foundation
2015- NiFi, Apache Project Suite'in resmi bir parçası oldu
O tarihten bu yana her 6-8 haftada bir Apache NiFi yeni bir güncelleme yayınlıyor

NiFi Archidoku

Apache NiFi iyi düşünülmüş bir mimariye sahiptir. Veriler harici kaynaklardan alındığında, Apache NiFi mimarisi içinde FlowFile olarak temsil edilir.

NiFi mimarisinin temel bileşenleri şunlardır

Nifi Bileşeni	Açıklama
Akış Dosyası	FlowFile, meta bilgilerinin eklendiği orijinal verilerdir. Yalnızca CSV veya diğer kayıt tabanlı verileri değil aynı zamanda resim, video, ses veya diğer ikili verileri de işlemenize olanak tanır.
Akış dosyası işlemcisi	NiFi'de veri akışının yapı taşı görevi gören işi gerçekleştirir.
Akış kontrolörü	Süreçlerin nasıl bağlandığının kaydını tutar. Tüm süreçlerin kullandığı iş parçacıklarını ve bunların tahsislerini yönetir.
web Sunucusu	Web sunucusu, NiFi'nin HTTP tabanlı komutlarını ve API'sini barındırır.
Uzatma	JVM içinde çalışan ve yürütülen birçok türde NiFi uzantısı vardır.
Komunite	Verilerin nereye yönlendirileceğini etkileyen bir kuyruk ve ilişki(ler) içeren işlemciler arasında bir bağlantı görevi görür.
Geri basınç	Kuyrukta saklanabilecek akış dosyalarının miktarını veya veri boyutunu kontrol ederek sistemin taşmasını önleyin.
Süreç Grubu	Süreç grubu, bağlantı noktalarının yardımıyla veri alan ve gönderen bir dizi süreç ve bunların bağlantılarından oluşur.
Akış Dosyası Havuzu	NiFi, FlowFile deposunda şu bilgileri saklar: track, akışta aktif olan belirli bir FlowFile hakkında hangi ayrıntılara sahip olduğunun durumunu gösterir.
İçerik Deposu	İçerik Havuzu, belirli bir FlowFile'ın gerçek içerik baytlarının bulunduğu bir alandır.
Kaynak Havuzu	Kaynak Havuzu, tüm kaynak olay verilerinin toplandığı bir alandır.

Apache NiFi Özellikleri

NiFi, sıraya alınmış tüm verilerin ara belleğe alınmasını destekler ve bu sıralar belirtilen sınırlara ulaştığında geri basınç sağlama yeteneği sunar
NiFi, bir veya daha fazla önceliklendirme şemasının ayarlanmasına olanak tanır
Birçok veri kaynağı için bağlantı işlemcileri sağlar
Çalışan herhangi bir cihazı destekleyin Java
Sınırlı bağlantı yerleri için ideal
Sorun giderme ve akış optimizasyonu desteği
Rol tabanlı kimlik doğrulama/yetkilendirme sunar
Tek tek dosyaların indirilmesine, kurtarılmasına ve yeniden oynatılmasına izin verir
İşlemcilerinizi, denetleyici hizmetlerinizi ve daha fazlasını oluşturun
Güvenli protokoller üzerinden içerik şifreleme ve iletişim sağlayın
Hızlı geliştirme ve etkili testlere olanak tanır
Daha karmaşık akışlar oluşturmak için yeniden kullanılabilen ve birleştirilebilen basit tek işlevli bileşenlerin geliştirilmesine olanak tanır
Bağımlılıkların daha kolay yönetilmesi için sınıf yükleyici izolasyonuna izin verir

Apache NiFi Nasıl Kurulur

Aşağıda Apache NiFi kurulumu için adım adım bir işlem yer almaktadır.

) 1 Adım MyCAD'de yazılım Güncelleme ye git Bağlantı,

ve “Abone Olmaya Devam Et”e tıklayın

) 2 Adım Bir sonraki sayfada

“Şartları Kabul Et”e tıklayın

) 3 Adım Bu sayfayı göreceksiniz,

Bu ürüne abone olduğunuz için teşekkür ederiz! Talebinizi işleme alıyoruz.

) 4 Adım 5 dakika sonra sayfayı yenileyin.

“Yapılandırmaya Devam Et” seçeneğine tıklayın

) 5 Adım Bir sonraki sayfada

Ayarları varsayılan tutun ve “Başlatmaya Devam Et”e tıklayın

) 6 Adım Bir sonraki sayfada

Başlat'a tıklayın. Bir anahtar oluşturmanız gerekebilir

) 7 Adım Bu başarı mesajını göreceksiniz.

Tebrikler! Bu yazılımın bir örneği EC2'de başarıyla konuşlandırıldı!

) 8 Adım Not,

EC2 örneğinin örnek kimliği ve genel DNS'si

) 9 Adım Güvenlik grubunda,

Tüm trafik kuralını gelen ve gidene ekle

) 10 Adım Nifi'ye erişmek için,

sadece şunu kullanın URL

http://publicdns:8080/nifi

Bizim durumumuzda olur

http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/

kullanıcı: Yönetici

Şifre: Örnek Kimliği

) 11 Adım Göreceksin,

NiFi ana ekranı

Nifi Kullanım Durumları

Aşağıda Apache NiFi kullanım durumlarının bir listesi bulunmaktadır:

Sanayi	kullanım
Sigorta	Risk ve sigortalama analizi Talep Analitiği Kullanıma Dayalı Sigorta Yeni ürün geliştirme
Sağlık hizmeti	Hastanın tek görünümü Gerçek zamanlı yaşamsal belirti izleme EMR optimizasyonu Tedarik Zinciri Optimizasyonu
Telekomünikasyon	Müşterinin tek görünümü CDR analizi Dinamik Bant Genişliği tahsisi
Üretim	Önleyici bakım Tedarik Zinciri Optimizasyonu Kalite kontrol
Petrol ve Gaz Endüstrisi	Gerçek zamanlı izleme Tek görünüm Operayon Öngörülü bakım Archive & Analitik Yapılandırılmamış veri sınıflandırması
Finansal hizmetler	Kara para aklama karşıtı Dolandırıcılık Tespiti Risk-veri yönetimi

Apache NiFi'yi Çalıştırmak için En İyi Uygulamalar

NiFi'de test/geliştirme/üretim ortamlarını ayırmak için idealdir
Akışınızı süreç gruplarına ayırmalısınız
Bir adlandırma kuralı kullanın, yorumları ve etiketleri kullanın
Projelerinizi alım, test ve izleme olmak üzere üç parça halinde düzenleyin
Değişken için benzersiz adlar kullanın

Nifi'nin dezavantajı

Hassas güvenlik ve uyumluluk kontrollerine ihtiyacınız var
Apache NiFi ile çalışırken altta yatan sistemi çok iyi bilmeniz gerekir.
Veriler için gözetim zinciri sürdürülmeli
Taşıma / Mesajlaşma yeterli olmayabilir
Veri erişim ihtiyaçları, aktarım için mevcut kaynakları aşıyor
Tüm veriler eşit şekilde oluşturulmaz
SSL ve konu düzeyinde yetkilendirme yeterli olmayabilir

SSS

NiFi, yerleşik yönlendirme ve dönüştürme özellikleriyle görsel, düşük kodlu veri akışı sunar. Kafka, mesajlaşma altyapısını oluştururken; Airflow, toplu işleri yönetir. NiFi genellikle Kafka ile alt akış hedefleri arasında veri taşır.

Evet. NiFi, akış halindeki verileri alır, model uç noktalarını çağırır ve tahminleri depolama alanına yönlendirir. Kafka, MiNiFi ve vektör veritabanlarıyla uçtan uca yapay zeka ve veri alma destekli üretim iş akışları oluşturur.

Yapay zeka araçları işlemci zincirleri önerir, ifade dili parçacıkları üretir ve akış modellerini açıklar. Geliştirmeyi hızlandırır ve yeni başlayanların NiFi yapılandırmasını ve yönlendirme mantığını anlamalarına yardımcı olur.

FlowFile, NiFi üzerinden hareket eden verilerdir. İçeriğin yanı sıra, veri akışı içinde karar vermek için işlemcilerin kullandığı meta veri, soy ağacı ve yönlendirme bilgileri gibi öznitelikleri de içerir.

NiFi, TLS, çoklu kiracı yetkilendirmesi, LDAP, Kerberos, OIDC ve şifrelenmiş depoları destekler. Rol tabanlı politikalar, belirli veri akışlarını kimlerin görüntüleyebileceğini, değiştirebileceğini veya işletebileceğini kısıtlar.

NiFi, kümeleme yoluyla yatay olarak, çekirdek ekleyerek dikey olarak ve geri basınç kuyrukları aracılığıyla ölçeklenebilir. Uçtaki MiNiFi aracıları, verileri merkezi bir NiFi kümesine aktarır.

NiFi, veri akışlarını tasarlamak için zengin bir web arayüzüne sahip tam teşekküllü bir sunucudur. MiNiFi ise uç noktada çalışan ve verileri NiFi'ye ileten hafif bir aracıdır.

Yeni başlayanlar ilk iş akışlarını birkaç günde oluştururlar. Kümeleme, güvenlik, özel işlemciler ve yüksek verimlilik ayarlamalarında uzmanlaşmak, iki ila dört aylık üretim projesi deneyimi gerektirir.