برنامج تعليمي حول Apache NiFi
ديفيد كارتر
⚡ ملخص ذكي
يشرح برنامج Apache NiFi التعليمي منصة تكامل البيانات مفتوحة المصدر المصممة لتدفق البيانات الآلي والموثوق بين الأنظمة. Lessتغطي هذه الوثائق البنية، والمعالجات، والمصطلحات، والميزات، والتثبيت، وحالات الاستخدام، والمزايا، والعيوب، وأفضل الممارسات لعمليات النشر في بيئة الإنتاج.
ملخص البرنامج التعليمي لـ Apache NiFi
يغطي هذا البرنامج التعليمي الخاص بـ Apache NiFi جميع المواضيع الأساسية والمتقدمة من البداية. ستتعلم مفاهيم مثل تعريف NiFi وتاريخه وبنيته وميزاته وعملية التثبيت وحالات الاستخدام. ستتعلم أيضًا سبب حاجتك إلى استخدام Apache NiFi وأفضل الممارسات لتشغيل Apache NiFi.
ما هو أباتشي نيفي؟
اباتشي نيفي هو برنامج مفتوح المصدر لأتمتة وإدارة تدفق البيانات بين الأنظمة. إنه نظام قوي وموثوق لمعالجة البيانات وتوزيعها. يوفر واجهة مستخدم على شبكة الإنترنت لإنشاء تدفقات البيانات ومراقبتها والتحكم فيها. يحتوي على عملية تدفق بيانات قابلة للتكوين والتعديل بدرجة عالية لتعديل البيانات في وقت التشغيل.
يمكن توسيع Apache NiFi بسهولة من خلال تطوير المكونات المخصصة.
لماذا نستخدم أباتشي NIfi؟
فيما يلي أسباب استخدام Apache Nifi:
- يسمح لك بإدخال البيانات لسحب البيانات إلى NiFi، من مصادر البيانات المتعددة وإنشاء ملفات التدفق
- فهو يوفر تحكمًا في الوقت الفعلي يساعدك على إدارة حركة البيانات بين أي مصدر ووجهة
- تصور DataFlow على مستوى المؤسسة
- توفير الأدوات والإضافات المشتركة
- يسمح لك بالاستفادة من المكتبات الموجودة و Java وظائف النظام البيئي
- يساعد المؤسسات على دمج Nifi مع بنيتها التحتية الحالية
- تم تصميم NiFi للتوسع في مجموعات توفر توصيلًا مضمونًا للبيانات
- تصور ومراقبة الأداء والسلوك في نشرة التدفق التي توفر رؤية ووثائق مضمنة
- يساعدك على بدء وإيقاف المكونات بشكل منفصل أو على مستوى المجموعة
- يساعدك على الاستماع إلى تدفق البيانات وجلبه وتقسيمه وتجميعه وتوجيهه وتحويله وسحبه وإفلاته
تاريخ أباتشي نيفي
- تم تطويره في وكالة الأمن القومي لأكثر من ثماني سنوات
- 2014- تم التبرع به لبرنامج Apache Foundation
- 2015- أصبحت NiFi جزءًا رسميًا من مجموعة مشروع Apache
- منذ ذلك الحين، يصدر Apache NiFi تحديثًا جديدًا كل 6 إلى 8 أسابيع
نيفي Architecture
يتمتع Apache NiFi بهندسة معمارية مدروسة جيدًا. بمجرد جلب البيانات من مصادر خارجية، يتم تمثيلها بصيغة FlowFile داخل هندسة Apache NiFi.
فيما يلي المكونات الرئيسية لهندسة NiFi
| مكون نيفي | الوصف |
|---|---|
| ملف التدفق | FlowFile عبارة عن بيانات أصلية تحتوي على معلومات وصفية مرفقة بها. فهو يسمح لك بمعالجة ليس فقط ملف CSV أو البيانات الأخرى المستندة إلى السجلات، ولكن أيضًا الصور ومقاطع الفيديو والصوت أو أي بيانات ثنائية أخرى. |
| معالج التدفق | ينفذ العمل الذي يعمل بمثابة لبنة أساسية لتدفق البيانات في NiFi. |
| تحكم التدفق | يحتفظ بسجل لكيفية اتصال العمليات. يدير المواضيع والتخصيصات التي تستخدمها جميع العمليات. |
| خادم الويب | يستضيف خادم الويب أوامر NiFi المستندة إلى HTTP وواجهة برمجة التطبيقات (API). |
| تمديد | هناك العديد من أنواع ملحقات NiFi التي تعمل وتنفذ داخل JVM. |
| الاتصال | يعمل بمثابة رابط بين المعالجات التي تحتوي على قائمة انتظار والعلاقة (العلاقات) التي تؤثر على مكان توجيه البيانات. |
| الضغط الخلفي | يمكنك منع تجاوز النظام من خلال التحكم في كمية أو حجم بيانات ملفات التدفق التي يمكن تخزينها في قائمة الانتظار. |
| مجموعة العمليات | مجموعة العمليات هي مجموعة من العمليات واتصالاتها، والتي تستقبل البيانات وترسلها بمساعدة المنافذ. |
| مستودع ملفات التدفق | يحتفظ NiFi في مستودع FlowFile track من حالة التفاصيل التي يحتويها حول ملف التدفق المحدد النشط في التدفق. |
| مستودع المحتوى | مستودع المحتوى هو منطقة توجد بها وحدات بايت المحتوى الفعلية لملف FlowFile محدد. |
| مستودع الأصل | مستودع المصدر هو منطقة يتم فيها جمع جميع بيانات حدث المصدر. |
مميزات اباتشي نيفي
- يدعم NiFi التخزين المؤقت لجميع البيانات المدرجة في قائمة الانتظار ويوفر إمكانية الضغط الخلفي حيث قد تصل هذه القوائم إلى حدود محددة
- يسمح NiFi بإعداد مخطط واحد أو أكثر للأولويات
- يوفر معالجات الاتصال للعديد من مصادر البيانات
- دعم أي جهاز يعمل Java
- مثالية لأماكن الاتصال المحدودة
- دعم استكشاف الأخطاء وإصلاحها وتحسين التدفق
- يقدم المصادقة/الترخيص على أساس الدور
- يسمح بتنزيل الملفات الفردية واستعادتها وإعادة تشغيلها
- قم ببناء معالجاتك وخدمات التحكم والمزيد
- توفير تشفير المحتوى والتواصل عبر بروتوكولات آمنة
- يتيح التطور السريع والاختبار الفعال
- يسمح بتطوير مكونات بسيطة ذات وظيفة واحدة يمكن إعادة استخدامها ودمجها لإنشاء تدفقات أكثر تعقيدًا
- يسمح بعزل أداة تحميل الفصل لتسهيل إدارة التبعيات
كيفية تثبيت أباتشي نيفي
فيما يلي عملية خطوة بخطوة لتثبيت Apache NiFi
الخطوة 1) انتقل إلى البرنامج المساعد في التأليف الرابط,
وانقر على "متابعة الاشتراك"
الخطوة 2) في الصفحة التالية ،
انقر فوق "قبول الشروط"
الخطوة 3) ستظهر لك هذه الصفحة ,
شكرا لك على الاشتراك في هذا المنتج! نحن نقوم بمعالجة طلبك.
الخطوة 4) قم بتحديث الصفحة بعد 5 دقائق.
انقر فوق "متابعة التكوين"
الخطوة 5) في الصفحة التالية ،
احتفظ بالإعدادات الافتراضية وانقر على "متابعة الإطلاق"
الخطوة 6) في الصفحة التالية ،
انقر فوق إطلاق. قد تحتاج إلى إنشاء مفتاح
الخطوة 7) سترى رسالة النجاح هذه.
مبروك! تم نشر نسخة من هذا البرنامج بنجاح على EC2!
الخطوة 8) ملحوظة،
معرف المثيل وDNS العام لمثيل EC2
الخطوة 9) في المجموعة الأمنية
إضافة كافة قواعد المرور إلى الداخل والخارج
الخطوة 10) للوصول إلى نيفي،
ببساطة استخدم URL
http://publicdns:8080/nifi
في حالتنا يصبح
http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/
اسم المستخدم: مشرف
كلمة المرور: معرف المثيل
الخطوة 11) سوف ترى،
شاشة نيفي الرئيسية
حالات استخدام نيفي
فيما يلي قائمة بحالات استخدام Apache NiFi:
| حلول | الأستعمال |
|---|---|
| تأمين |
|
| للرعاية الصحية |
|
| اتصالات |
|
| تصنيع |
|
| صناعة النفط والغاز |
|
| للخدمات المالية |
|
أفضل الممارسات في تشغيل Apache NiFi
- مثالية لفصل بيئات الاختبار/التطوير/الإنتاج في NiFi
- يجب عليك تقسيم التدفق الخاص بك إلى مجموعات العمليات
- استخدم اصطلاح التسمية، واستخدم التعليقات والتسميات
- قم بتنظيم مشاريعك في ثلاثة أجزاء: الاستيعاب والاختبار والمراقبة
- استخدم أسماء فريدة للمتغير
مساوئ نيفي
- تحتاج إلى ضوابط أمنية وامتثال دقيقة
- أنت بحاجة إلى معرفة النظام الأساسي جيدًا أثناء العمل مع Apache NiFi
- يجب الحفاظ على سلسلة حراسة البيانات
- قد لا يكون النقل/المراسلة كافيًا
- احتياجات الوصول إلى البيانات تتجاوز الموارد المتاحة للنقل
- لا يتم إنشاء كافة البيانات على قدم المساواة
- قد لا يكون ترخيص SSL ومستوى الموضوع كافيًا
