अपाचे NiFi ट्यूटोरियल
डेविड कार्टर
अपाचे NiFi ट्यूटोरियल सारांश
यह अपाचे NiFi ट्यूटोरियल सभी बुनियादी से लेकर उन्नत विषयों को शुरू से ही कवर करता है। आप NiFi परिभाषा, इतिहास, वास्तुकला, सुविधाएँ, स्थापना प्रक्रिया, उपयोग के मामले जैसी अवधारणाओं को सीखेंगे। आप यह भी सीखेंगे कि आपको अपाचे NiFi का उपयोग क्यों करना चाहिए और अपाचे NiFi चलाने के सर्वोत्तम तरीके क्या हैं।
अपाचे निफ़ी क्या है?
अपाचे NiFi सिस्टम के बीच डेटा प्रवाह को स्वचालित और प्रबंधित करने के लिए एक ओपन सोर्स सॉफ़्टवेयर है। यह डेटा को संसाधित करने और वितरित करने के लिए एक शक्तिशाली और विश्वसनीय प्रणाली है। यह डेटा प्रवाह बनाने, निगरानी करने और नियंत्रित करने के लिए वेब-आधारित उपयोगकर्ता इंटरफ़ेस प्रदान करता है। इसमें रनटाइम पर डेटा को संशोधित करने के लिए एक अत्यधिक कॉन्फ़िगर करने योग्य और संशोधित डेटा प्रवाह प्रक्रिया है।
कस्टम घटकों के विकास के माध्यम से अपाचे निफ़ी को आसानी से विस्तारित किया जा सकता है।
अपाचे NIfi का उपयोग क्यों करें?
अपाचे निफी का उपयोग करने के कारण यहां दिए गए हैं:
- आपको कई डेटा स्रोतों से NiFi में डेटा खींचने और प्रवाह फ़ाइलें बनाने के लिए डेटा अंतर्ग्रहण करने की अनुमति देता है
- यह वास्तविक समय नियंत्रण प्रदान करता है जो आपको किसी भी स्रोत और गंतव्य के बीच डेटा की आवाजाही का प्रबंधन करने में मदद करता है
- एंटरप्राइज़ स्तर पर डेटाफ़्लो को विज़ुअलाइज़ करें
- सामान्य टूलींग और एक्सटेंशन प्रदान करें
- आपको मौजूदा पुस्तकालयों का लाभ उठाने की अनुमति देता है और Java पारिस्थितिकी तंत्र कार्यक्षमता
- संगठनों को निफी को उनके मौजूदा बुनियादी ढांचे के साथ एकीकृत करने में मदद करता है
- NiFi को क्लस्टरों में स्केल-आउट करने के लिए डिज़ाइन किया गया है जो डेटा की गारंटीकृत डिलीवरी प्रदान करते हैं
- प्रवाह बुलेटिन में प्रदर्शन, व्यवहार को विज़ुअलाइज़ और मॉनिटर करें जो अंतर्दृष्टि और इनलाइन दस्तावेज़ीकरण प्रदान करता है
- घटकों को अलग-अलग या समूह स्तर पर शुरू करने और रोकने में आपकी सहायता करता है
- यह आपको डेटाफ्लो को सुनने, लाने, विभाजित करने, एकत्र करने, रूट करने, बदलने और खींचने और छोड़ने में मदद करता है
अपाचे निफ़ी का इतिहास
- एनएसए में आठ वर्षों से अधिक समय तक विकसित
- 2014- इसे अपाचे सॉफ्टवेयर को दान कर दिया गया Foundation
- 2015- NiFi अपाचे प्रोजेक्ट सूट का आधिकारिक हिस्सा बन गया
- तब से हर 6-8 सप्ताह में, अपाचे निफ़ी एक नया अपडेट जारी करता है
निफ़ी Archiटेक्चर
अपाचे निफ़ी की वास्तुकला बहुत ही सोची-समझी है। जब बाहरी स्रोतों से डेटा प्राप्त किया जाता है, तो उसे अपाचे निफ़ी वास्तुकला के अंदर फ़्लोफ़ाइल के रूप में दर्शाया जाता है।
NiFi आर्किटेक्चर के प्रमुख घटक यहां दिए गए हैं
| निफी घटक | विवरण |
|---|---|
| फ़्लोफ़ाइल | फ़्लोफ़ाइल मूल डेटा है जिसमें मेटा-सूचना जुड़ी हुई है। यह आपको न केवल CSV या अन्य रिकॉर्ड-आधारित डेटा, बल्कि चित्र, वीडियो, ऑडियो या किसी अन्य बाइनरी डेटा को भी प्रोसेस करने की अनुमति देता है। |
| फ्लोफ़ाइल प्रोसेसर | वह कार्य करता है जो NiFi में डेटा प्रवाह के निर्माण खंड के रूप में कार्य करता है। |
| प्रवाह नियंत्रक | यह रिकॉर्ड रखता है कि प्रक्रियाएँ किस प्रकार जुड़ी हुई हैं। यह थ्रेड्स और उनके आवंटन का प्रबंधन करता है जिसका उपयोग सभी प्रक्रियाएँ करती हैं। |
| वेब सर्वर | वेब सर्वर NiFi के HTTP-आधारित कमांड और API को होस्ट करता है। |
| विस्तार | कई प्रकार के NiFi एक्सटेंशन हैं जो JVM के भीतर संचालित और निष्पादित होते हैं। |
| संबंध | प्रोसेसरों के बीच एक कड़ी के रूप में कार्य करता है जिसमें एक कतार और संबंध होता है जो प्रभावित करता है कि डेटा कहां रूट किया जाता है। |
| ऊपर का दवाब | कतार में संग्रहीत की जा सकने वाली प्रवाह फ़ाइलों की मात्रा या डेटा आकार को नियंत्रित करके सिस्टम को ओवररन होने से रोकें। |
| प्रक्रिया समूह | प्रक्रिया समूह प्रक्रियाओं और उनके कनेक्शनों का एक समूह है, जो पोर्ट की सहायता से डेटा प्राप्त करता है और भेजता है। |
| फ्लोफ़ाइल रिपॉज़िटरी | फ्लोफाइल रिपोजिटरी में, NiFi उस स्थिति पर नज़र रखता है कि उसके पास किसी दिए गए फ्लोफाइल के बारे में क्या विवरण है जो प्रवाह में सक्रिय है। |
| सामग्री भंडार | सामग्री रिपोजिटरी एक ऐसा क्षेत्र है जहां किसी दिए गए फ्लोफ़ाइल की वास्तविक सामग्री बाइट्स मौजूद होती हैं। |
| उद्गम भण्डार | प्रोवेनेंस रिपोजिटरी वह क्षेत्र है जहां सभी प्रोवेनेंस घटना डेटा एकत्र किया जाता है। |
अपाचे निफ़ी विशेषताएँ
- NiFi सभी कतारबद्ध डेटा की बफरिंग का समर्थन करता है और बैक प्रेशर की क्षमता प्रदान करता है क्योंकि ये कतारें निर्दिष्ट सीमाओं तक पहुंच सकती हैं
- NiFi एक या अधिक प्राथमिकता योजनाओं की स्थापना की अनुमति देता है
- कई डेटा स्रोतों के लिए कनेक्शन प्रोसेसर प्रदान करता है
- किसी भी डिवाइस का समर्थन करें जो चलता है Java
- सीमित कनेक्टिविटी वाले स्थानों के लिए आदर्श
- समस्या निवारण और प्रवाह अनुकूलन के लिए समर्थन
- भूमिका-आधारित प्रमाणीकरण/प्राधिकरण प्रदान करता है
- व्यक्तिगत फ़ाइलों को डाउनलोड करने, पुनर्प्राप्त करने और पुनः चलाने की अनुमति देता है
- अपने प्रोसेसर, नियंत्रक सेवाएँ और बहुत कुछ बनाएँ
- सुरक्षित प्रोटोकॉल पर सामग्री एन्क्रिप्शन, संचार प्रदान करें
- तेजी से विकास और प्रभावी परीक्षण को सक्षम बनाता है
- सरल एकल-फ़ंक्शन घटकों के विकास की अनुमति देता है जिन्हें अधिक जटिल प्रवाह बनाने के लिए पुनः उपयोग और संयोजित किया जा सकता है
- निर्भरताओं के आसान प्रबंधन के लिए क्लासलोडर अलगाव की अनुमति देता है
अपाचे निफ़ी कैसे स्थापित करें
नीचे Apache NiFi स्थापना के लिए चरण दर चरण प्रक्रिया दी गई है
चरण 1) सम्बन्ध,
और “सदस्यता जारी रखें” पर क्लिक करें
चरण 2) अगले पेज पर,
“शर्तें स्वीकार करें” पर क्लिक करें
चरण 3) आप यह पेज देखेंगे,
इस उत्पाद की सदस्यता लेने के लिए धन्यवाद! हम आपके अनुरोध पर कार्रवाई कर रहे हैं।
चरण 4) 5 मिनट के बाद पेज को रिफ्रेश करें।
“कॉन्फ़िगरेशन जारी रखें” पर क्लिक करें
चरण 5) अगले पेज पर,
सेटिंग्स को डिफ़ॉल्ट रखें और “लॉन्च जारी रखें” पर क्लिक करें
चरण 6) अगले पेज पर,
लॉन्च पर क्लिक करें। आपको एक कुंजी बनाने की आवश्यकता हो सकती है
चरण 7) आपको यह सफलता संदेश दिखाई देगा.
बधाई हो! इस सॉफ़्टवेयर का एक उदाहरण EC2 पर सफलतापूर्वक तैनात किया गया है!
चरण 8) ध्यान दें,
EC2 इंस्टेंस की इंस्टेंस आईडी और सार्वजनिक DNS
चरण 9) सुरक्षा समूह में,
इनबाउंड और आउटबाउंड में सभी ट्रैफ़िक नियम जोड़ें
चरण 10) निफी तक पहुंचने के लिए,
बस यूआरएल का उपयोग करें
http://publicdns:8080/nifi
हमारे मामले में यह हो जाता है
http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/
उपयोगकर्ता: व्यवस्थापक
पासवर्ड: इंस्टेंस आईडी
चरण 11) आप देखेंगे,
NiFi होम स्क्रीन
निफी उपयोग के मामले
नीचे अपाचे NiFi उपयोग मामलों की सूची दी गई है:
| उद्योग | प्रयोग |
|---|---|
| बीमा |
|
| स्वास्थ्य देखभाल |
|
| दूरसंचार |
|
| विनिर्माण |
|
| तेल एवं गैस- उद्योग |
|
| वित्तीय सेवाएँ |
|
Apache NiFi चलाने के सर्वोत्तम अभ्यास
- NiFi में परीक्षण/डेवलपमेंट/उत्पादन वातावरण को अलग करने के लिए आदर्श
- आपको अपने प्रवाह को प्रक्रिया समूहों में विभाजित करना चाहिए
- नामकरण पद्धति का प्रयोग करें, टिप्पणियाँ और लेबल का उपयोग करें
- अपनी परियोजनाओं को तीन भागों में व्यवस्थित करें अंतर्ग्रहण, परीक्षण और निगरानी
- चर के लिए अद्वितीय नामों का उपयोग करें
निफी का नुकसान
- सटीक सुरक्षा और अनुपालन नियंत्रण की आवश्यकता है
- Apache NiFi के साथ काम करते समय आपको अंतर्निहित सिस्टम को अच्छी तरह से जानना होगा
- डेटा के लिए कस्टडी की श्रृंखला बनाए रखना आवश्यक है
- परिवहन/संदेश सेवा शायद पर्याप्त न साबित हो
- डेटा तक पहुंच की जरूरतें परिवहन के लिए उपलब्ध संसाधनों से अधिक हैं
- सभी डेटा समान रूप से नहीं बनाए जाते
- SSL और विषय स्तरीय प्राधिकरण पर्याप्त नहीं हो सकता
सारांश
- अपाचे निफ़ी सिस्टम के बीच डेटा के प्रवाह को स्वचालित और प्रबंधित करने के लिए एक ओपन सोर्स सॉफ्टवेयर है
- NiFi को क्लस्टरों में स्केल-आउट करने के लिए डिज़ाइन किया गया है जो डेटा की गारंटीकृत डिलीवरी प्रदान करते हैं
- निफी को एनएसए में आठ वर्षों से अधिक समय तक विकसित किया गया
- एक बार जब डेटा बाहरी स्रोतों से प्राप्त हो जाता है, तो इसे Apache NiFi आर्किटेक्चर के अंदर FlowFile के रूप में दर्शाया जाता है।
- फ्लोफाइल, प्रोसेसर, कंट्रोलर, वेब सर्वर, कनेक्शन, बैक प्रेशर, रिपोजिटरी NiFi आर्किटेक्चर के महत्वपूर्ण घटक हैं
- NiFi अभिव्यक्ति भाषा किसी भी डिवाइस का समर्थन करती है जो चलती है Java
- आप आसानी से AWS पर NiFi स्थापित कर सकते हैं
- NiFi का उपयोग विभिन्न उद्योगों जैसे स्वास्थ्य सेवा, बीमा, दूरसंचार, विनिर्माण, वित्त, तेल और गैस आदि में किया जाता है
- सर्वोत्तम अभ्यास के रूप में, अपनी परियोजनाओं को तीन भागों में व्यवस्थित करें: अंतर्ग्रहण, परीक्षण और निगरानी
