برنامج تعليمي حول برنامج Talend: ما هي أداة Talend ETL؟

من قبل: برافولا راناديفي برافولا راناديفي
Hours تحديث

⚡ ملخص ذكي

Talend هي منصة مفتوحة المصدر لتكامل البيانات وإدارة البيانات، حيث يقوم برنامج Studio الرسومي الخاص بها بإنشاء رمز أصلي لعمليات ETL والبيانات الضخمة وخطوط أنابيب السحابة، ويتم شحنها الآن تجاريًا باسم Qlik Talend Cloud.

  • 🔘 الفكرة الأساسية: يستبدل برنامج Talend كود ETL المكتوب يدويًا بمكونات قابلة للتكوين، مما يؤدي إلى إنشاء أكواد أصلية. Javaأو MapReduce Spark الكود من لوحة عمل رسومية.
  • ☑️ مجموعة المنتجات: ثلاثة أركان تدعم المنصة: Talend Big Data، و Data Integration، و Integration Cloud، وكلها تشترك في مستودع بيانات وصفية واحد.
  • ✅ الاستوديو المفتوح: كان برنامج Talend Open Studio هو الإصدار المجاني لأجهزة سطح المكتب، والذي يقدم أكثر من 1000 موصل جاهز وإمكانية تصدير المهام بشكل مستقل.
  • ⚠️ تحديث الحالة: استحوذت شركة Qlik على شركة Talend في مايو 2023 وأوقفت برنامج Talend Open Studio في 31 يناير 2024، لذلك تبدأ المشاريع الجديدة على Qlik Talend Cloud.
  • 🧪 الهندسة المعمارية: تشكل قواعد بيانات العملاء وخادم Talend والإدارة والتدقيق والمراقبة الكتل الثلاث لبنية Studio.
  • 🛠️ أين يناسب: تتنافس Talend مع Informatica وSSIS وأدوات ELT الحديثة؛ وتكمن نقاط قوتها في الموصلات وجودة البيانات وانخفاض التكلفة الإجمالية للملكية.
اقرأ المزيد

شرح أداة Talend ETL التي تغطي Open Studio وتكامل البيانات

ما هو تالند؟

تاليند هي منصة برمجية مفتوحة المصدر تقدم حلولاً لتكامل البيانات وإدارتها. تتخصص تاليند في البيانات الكبيرة التكامل. توفر المنصة ميزات مثل الحوسبة السحابية، والبيانات الضخمة، وتكامل تطبيقات المؤسسات، وجودة البيانات، وإدارة البيانات الرئيسية. كما توفر مستودعًا موحدًا لتخزين البيانات الوصفية وإعادة استخدامها.

لطالما كان برنامج Talend متاحًا في كل من الإصدار مفتوح المصدر والإصدار المدفوع، ويستخدم على نطاق واسع في الحوسبة السحابية وأعمال تكامل البيانات الضخمة.

تحديث هام للحالة: أكملت شركة Qlik استحواذها على شركة Talend في مايو 2023، وفي 31 يناير 2024، تم إيقاف إصدارات Talend Open Studio المجانية - لم تعد تُستضاف أو تُحدّث أو تُزوّد ​​بأي تصحيحات. وتستمر المنصة التجارية تحت اسم Qlik Talend Cloud. تشرح الأقسام التالية Open Studio كما كانت تعمل خلال فترة دعمها، وهي الطريقة الأوضح لفهم كيفية عملها. أداة ETL يتم تجميعها.

تاريخ تالند

المعالم الرئيسية أدناه trace Talend من مشروع بحث وتطوير فرنسي إلى محرك تكامل البيانات والجودة داخل منصة Qlik السحابية.

السنة Milestone
2002 R & D
2005 إنشاء الشركة - الجولة الأولى من تمويل شركة AGF للأسهم الخاصة وشركة Galle Partners
2006 Open Studio V1.0 - تم إطلاق عملياتنا
2007 جناح التكامل / الجولة الثانية المغلقة من التمويل
2008 افتح ملف التعريف/جودة البيانات
2009 مجموعة التكامل اقتناء RTx/MPx/MDM
2010 إصدار IDM Community/إصدار MDM Enterprise
2011 أوبن ستوديو الإصدار الخامس
2014 OW2 أفضل مشروع
2015 منتج رائج معترف به
2016 دي بي تي ايه 100
2017 Gartner Magic Quadrant لأدوات تكامل البيانات
2021 التكامل الأصلي للغرزة مع Amazon وحدة التحكم Redshift
2021 استحوذت شركة ثوما برافو على شركة تاليند لتصبح شركة خاصة في صفقة تقدر قيمتها بحوالي 2.4 مليار دولار
2023 شركة Qlik، المدعومة أيضاً من Thoma Bravo، تُكمل استحواذها على شركة Talend في مايو
2024 تم إيقاف برنامج Talend Open Studio في 31 يناير؛ ولن يتلقى الإصدار المجاني المخصص لأجهزة الكمبيوتر أي تحديثات أخرى.
2024 سيُتاح Qlik Talend Cloud بشكل عام في يوليو كمنصة بديلة، مضيفًا خطوط أنابيب معززة بالذكاء الاصطناعي ومنتجات بيانات وسوق بيانات.
2024 سينتهي دعم خادم Talend MDM في 31 ديسمبر؛ وسيتوقف الدعم القياسي لإصدار Talend 7.3 في نوفمبر.
2025 يُضيف Qlik Talend Cloud مهام مستودع المعرفة التي تُحوّل البيانات إلى متجهات لتطبيقات RAG، بالإضافة إلى تتبع مسار وظائف Talend Studio في كتالوج Qlik Cloud.
2025 يُقدّم إصدار نوفمبر نقاط نهاية واجهة برمجة التطبيقات (API) بنقرة واحدة لمنتجات البيانات المُدارة، وتوثيقًا ميدانيًا آليًا، وقواعد جودة بيانات مُقترحة بواسطة الذكاء الاصطناعي، وإدارة البيانات.
2026 أعلنت شركة Qlik في مؤتمر Qlik Connect في أبريل عن هندسة البيانات الوكيلة: خطوط الأنابيب التصريحية، ومساعد الذكاء الاصطناعي لبرنامج Talend Studio، والتوجيه في الوقت الفعلي، وبث Open Lakehouse الأصلي.
2026 ينتهي الدعم المدفوع الممتد لـ Talend 7.3 في ديسمبر، مما يجعل Talend 8 أو Qlik Talend Cloud المسارين الوحيدين المدعومين.

مجموعة منتجات Talend

تتكون مجموعة منتجات Talend من 3 منتجات رئيسية، سيتم مناقشتها أدناه.

تالند البيانات الكبيرة

يُمكن لبرنامج Talend أتمتة دمج البيانات الضخمة بسهولة باستخدام أدوات ومعالجات رسومية. وهذا يسمح للمؤسسة ببناء بيئة تعمل مع Apache Hadoop. Spark و قواعد بيانات NoSQL للوظائف السحابية أو المحلية.

اعتمدت العديد من الشركات تقنية هادوب لتوفير التكاليف وتحسين الأداء، لأن حلول المؤسسات غالباً ما تستهلك وقتاً حاسوبياً مكلفاً. باستخدام هادوب، يمكن تحويل البيانات وتنظيفها وإثرائها ودمجها لمعالجة أحمال العمل التحليلية الثقيلة.

تتضمن بيئة اختبار Talend أربع حالات استخدام:

  1. تحسين مستودع البيانات
  2. تحليلات Clickstream
  3. تحليل المشاعر على وسائل التواصل الاجتماعي
  4. تحليلات مدونات الويب من أباتشي

يمكنك أيضًا إنشاء حالات استخدام أكثر تعقيدًا خاصة بك بالاعتماد على هذه الحالات.

مزايا Talend للبيانات الضخمة و Hadoop

  • يحسّن كفاءة تصميم مهام البيانات الضخمة من خلال ترتيب وتكوين المكونات في واجهة رسومية
  • يضيف وظائف جودة البيانات وقابلية التوسع والإدارة
  • يتيح دعم MapReduce معالجة البيانات المتوازية بشكل أسرع
  • مستودع مشترك ونشر عن بُعد
  • جودة البيانات وتحديد خصائصها مع تنظيف البيانات
  • دعم أصلي لـ HBase، HDFS، خلية نحل، سكوب والخنزير
  • مُدمجة في منصة بيانات هورتونوركس

تكامل البيانات

ذا تاليند برنامج تكامل البيانات يتميز هذا النظام ببنية مفتوحة وقابلة للتوسع، مما يتيح استجابة أسرع لطلبات الأعمال. كما يقوم بتطوير ونشر مهام تكامل البيانات بشكل أسرع من البرمجة اليدوية.

يتيح لك دمج جميع بياناتك مع مستودعات بيانات أخرى أو مزامنة البيانات بين الأنظمة. يعني دمج البيانات الجمع بين البيانات المخزنة في مصادر مختلفة ومنح المستخدمين عرضًا موحدًا لها. يساعدك Talend في إدارة مهام ETL ويوفر للمستخدمين إعدادًا بسيطًا للبيانات ذاتيًا.

مزايا برنامج Talend لتكامل البيانات

التكامل الرشيق: الاستجابة بشكل أسرع لطلبات الأعمال دون كتابة التعليمات البرمجية، باستخدام أكثر من 1000 موصل جاهز للاستخدام. Eclipseأدوات رسومية قائمة على [اسم البرنامج] ومولد أكواد مُحسَّن للأداء.

إنتاجية الفريق: التعاون باستخدام التحكم في الإصدارات، وتحليل التأثير، والاختبار وتصحيح الأخطاء، وإدارة البيانات الوصفية.

إدارة سهلة: توفر الأداة جدولة ومراقبة متقدمة. كما توفر تكامل البيانات في الوقت الفعلي مع لوحات المعلومات والتحكم المركزي لنشر سريع عبر عدة عقد.

البقاء في صدارة المنافسة: استخدام المنصة يعني أنك لست مضطرًا لانتظار وصول أحدث ميزات تكامل البيانات إليك.

سعر ملكية منخفض: تعتمد Talend نموذج تسعير قائم على الاشتراك. تدفع مقابل عدد المطورين الذين يستخدمون Talend Studio، وهو ما يكلف أقل من الترخيص الثابت لكل خادم.

سحابة التكامل

يمكنك تسريع مشاريع تكامل البيانات السحابية والمحلية باستخدام منصة تكامل سحابية عالية التوسع والأمان كخدمة (iPaaS). توفر منصة Talend Integration Cloud إمكانية الاتصال، وجودة بيانات مدمجة، وتوليد أكواد أصلية.

هي منصة تكامل سحابي آمنة تتيح لمستخدمي تكنولوجيا المعلومات ومستخدمي الأعمال ربط الأنظمة السحابية والأنظمة المحلية. كما يمكن إدارة ومراقبة والتحكم في المهام المصممة في السحابة من خلالها.

مزايا التكامل السحابي

يقارن الجدول أدناه بين Talend Integration Cloud والبديل المكتوب يدويًا والذي من المفترض أن يحل محله.

سحابة التكامل Talend أدوات أخرى
900+ مكونات السحب والإفلات الترميز اليدوي غير منتج
يولد التعليمات البرمجية الأمثل بحاجة إلى مهارات متخصصة
التعاون والإدارة يصعب صيانتها
الدعم الذهبي (SLAs) دعم محدود

ذات المواد

ما هو Talend Open Studio؟

كان Talend Open Studio عبارة عن بنية مفتوحة لتكامل البيانات، وتوصيف البيانات، والبيانات الضخمة، والتكامل السحابي، وغير ذلك الكثير.

هي بيئة بواجهة مستخدم رسومية توفر أكثر من 1000 موصل جاهز. وهذا يُسهّل تنفيذ عمليات مثل تحويل الملفات، وتحميل البيانات، ونقل الملفات وإعادة تسميتها. ويمكن تهيئة كل مكون لتعريف عملية معقدة.

تُنشأ مهام التكامل من مكونات Talend التي يتم تكوينها بدلاً من برمجتها. ويمكن تشغيل المهام من داخل بيئة التطوير، أو تصديرها وتنفيذها كبرامج نصية مستقلة.

فوائد استخدام برنامج Talend Open Studio

  • فهو يقلل وقت تطوير التكامل من أسابيع وشهور إلى أيام أو حتى ساعات.
  • يقوم بتحويل وتحديث البيانات الموجودة في مصادر مختلفة.
  • يقوم بمراقبة وإدارة عمليات النشر الصعبة بسهولة.
  • يتميز هذا المنتج بانخفاض تكلفة امتلاكه مقارنةً بأي حل مماثل.
  • إنها ترث قوة الأساس Java منصة برمجة.
  • إن التشكيلة الواسعة من موصلات المصدر والهدف تجعلها خياراً قوياً في جميع أنحاء الصناعة.
  • يتميز بملف سجل متعدد المخططات قوي وتقارير مطابقة بعد تدفق البيانات أو ترحيلها.

بالمقارنة مع محرك ETL التقليدي الخاص، تبدو الاختلافات كالتالي:

تراث ETL Talend
محرك الملكية ساعات العمل
من الصعب توسيع نطاق البيانات الضخمة يولد الكود الأصلي
غالية تكلفة TCO منخفضة

ملاحظة: نظراً لأن برنامج Open Studio قد انتهى دعمه في 31 يناير 2024، فإن النسخة المجانية منه لا تتلقى أي تحديثات أمنية. لذا، ينبغي على الفرق التي لا تزال تستخدمه التخطيط للانتقال إلى Qlik Talend Cloud أو أي منصة أخرى مدعومة.

ستوديو تالند المفتوح Architecture

ينقسم تصميم النظام إلى ثلاثة أقسام رئيسية: العملاء، والخادم، وقواعد البيانات، بالإضافة إلى مساحة العمل والمستودع اللذين يحتويان على ملفات المشروع وبياناته الوصفية. يوضح الرسم البياني أدناه كيفية ترابط هذه الأقسام.

مخطط بنية Talend Open Studio يوضح العملاء وخادم Talend وقواعد بيانات الإدارة والتدقيق والمراقبة

العملاء

تتضمن وحدة العملاء برنامجًا واحدًا أو أكثر من برامج Talend Studio ومتصفحات الويب، والتي قد تعمل على نفس الجهاز أو على أجهزة مختلفة. يتيح لك برنامج Talend Studio إنشاء عمليات تكامل البيانات بغض النظر عن حجم البيانات أو مدى تعقيد العملية.

خادم تالند

تتضمن وحدة خادم Talend خادم تطبيقات قائم على الويب. وهي تُمكّن من إدارة وصيانة جميع المشاريع، كما أنها تحتفظ بحسابات المستخدمين وحقوق الوصول وتراخيص المشاريع في قاعدة بيانات الإدارة.

قاعدة البيانات

يشمل قسم قواعد البيانات قواعد بيانات الإدارة والتدقيق والمراقبة. تتولى الإدارة إدارة حسابات المستخدمين وحقوق الوصول وصلاحيات المشاريع. أما قاعدة بيانات التدقيق فتساعد في تقييم مختلف جوانب العمل، مما يُمكّن من بناء نظام دعم قرارات قائم على العمليات.

مساحة العمل

في برنامج Talend، مساحة العمل هي مجلد تُخزّن فيه جميع مجلدات المشروع. تحتاج إلى مجلد مساحة عمل واحد على الأقل لكل اتصال بالمستودع. يمكن لبرنامج Talend الاتصال بعدة مجلدات لمساحات العمل إذا كنت لا ترغب في استخدام المجلد الافتراضي.

مستودع

المستودع هو مساحة التخزين التي يستخدمها برنامج Talend Open Studio لجمع البيانات التي تصف نماذج الأعمال أو تصمم الوظائف.ping البيانات الوصفية في المستودع هي ما يجعل الاتصال أو المخطط قابلاً لإعادة الاستخدام عبر المهام.

Talend ملحقات الاستوديو المفتوحة

تم توسيع برنامج Talend Open Studio من خلال مجموعة من المنتجات التي أضافت إمكانيات الحوكمة والجودة والخدمة:

  • جناح التكامل Talend
  • تالند حسب الطلب
  • جودة بيانات Talend
  • تالند إي إس بي
  • Talend تكامل البيانات الكبيرة

تعود هذه الأسماء إلى حقبة Open Studio. أما في Qlik، فتُقدَّم الإمكانيات المكافئة داخل Qlik Talend Cloud بدلاً من تنزيلها بشكل منفصل.

الأسئلة الشائعة

لا، لقد أوقفت شركة Qlik دعم إصدارات Open Studio المجانية في 31 يناير 2024. ولم تعد هذه الإصدارات متاحة للاستضافة أو التحديث أو الدعم الفني. يبدأ العمل الجديد على منصة Qlik Talend Cloud التجارية، أو على أداة تكامل بديلة مفتوحة المصدر.

يقوم Talend بإنشاء تطبيقات أصلية Javaأو MapReduce Spark يُشغّل برنامج Talend برامجًا في أي مكان، بينما يُنفّذ PowerCenter المهام على محركه الخاص. اعتمد Talend على أسعار البرامج مفتوحة المصدر ونطاق موصلاتها الواسع، بينما يعتمد PowerCenter على إدارة ودعم مؤسسي متطورين.

المهمة عبارة عن تدفق بيانات قابل للتنفيذ يتم رسمه على لوحة الاستوديو. المكونات هي لبنات البناء القابلة للتكوين الموضوعة على تلك اللوحة - المدخلات والتحويلات والمخرجات - المرتبطة بصفوف تحمل المخطط بينها.

يساعد الذكاء الاصطناعي الآن في رسم خرائط المخططاتping الاقتراحات، واكتشاف الحالات الشاذة في عمليات تشغيل خطوط المعالجة، وتوليد منطق التحويل باللغة الطبيعية. وهذا يُقصر الخريطة.ping المرحلة، ولكن المنطق المُولّد لا يزال بحاجة إلى تحليل واختبار مقابل بيانات حقيقية قبل الإنتاج.

لا يستطيع برنامج Copilot رسم لوحة الرسم في Studio، ولكنه يساعد في كتابة الكود المتعلق بها: tJava الإجراءات، والتعبيرات المخصصة، وأغلفة shell للوظائف المُصدَّرة، وSQL المستخدم في مكونات tDBInput. اختبر دائمًا التعبيرات المُولَّدة مقابل مخطط الوظيفة.

يُباع Qlik Talend Cloud بنظام الاشتراك، ويُحدد سعره بناءً على السعة وعدد المطورين الذين يستخدمون Studio. لا توجد رخصة دائمة لكل خادم، كما أن المستوى المجاني الذي كان يوفره Open Studio لم يعد موجودًا.

مساحة العمل هي المجلد الموجود على القرص الذي يحتوي على ملفات المشروع. أما المستودع فهو المخزن المنطقي داخل المشروع حيث توجد البيانات الوصفية القابلة لإعادة الاستخدام - الاتصالات، والمخططات، والسياقات، والروتينات - بحيث يمكن لعدة مهام مشاركة تعريف واحد.

تشمل البدائل الشائعة Apache NiFi و Airbyte من جانب المصادر المفتوحة، و Informatica و Fivetran و Matillion أو Azure تُقدّم Data Factory خدماتها تجارياً. ويعتمد الاختيار الأمثل على تغطية الموصلات، وما إذا كنت بحاجة إلى ETL أو ELT، وتفضيلات الاستضافة.

تلخيص هذه التدوينة بـ: