ETL (مثال)trac(التحويل، والتحميل) عملية في مستودع البيانات
ديفيد كارتر
ملخص ذكي
ETL (مثال)tracتصف عملية التحويل والتحميل في مستودع البيانات التدفق المنهجي لنقل البيانات من مصادر متعددة غير متجانسة إلى مستودع مركزي. وهي تضمن اتساق البيانات ودقتها وجاهزيتها للتحليل من خلال عمليات منظمة.tracآليات التحميل المُحسّنة، والتحويل، والتشغيل.
ما هو ETL؟
ETL هي عمليةtracتقوم عملية ETL بجمع البيانات من أنظمة مصادر مختلفة، ثم تحويلها (مثل إجراء العمليات الحسابية، ودمج البيانات، وما إلى ذلك)، وأخيرًا تحميلها إلى نظام مستودع البيانات. الاسم الكامل لـ ETL هو Extract، التحويل، والتحميل.
قد يميل المرء إلى الاعتقاد بأن إنشاء مستودع بيانات ينطوي ببساطة على...tracتتضمن هذه العملية جمع البيانات من مصادر متعددة وتحميلها في قاعدة بيانات. مع ذلك، في الواقع، تتطلب هذه العملية عملية استخراج وتحويل وتحميل معقدة. تتطلب عملية الاستخراج والتحويل والتحميل مدخلات فعالة من مختلف الجهات المعنية، بما في ذلك المطورين والمحللين والمختبرين وكبار المسؤولين التنفيذيين، وهي عملية صعبة من الناحية التقنية.
للحفاظ على قيمته كأداة لصناع القرار، يحتاج نظام مستودع البيانات إلى التطور بما يتماشى مع تغيرات الأعمال. تُعدّ عملية استخراج البيانات وتحويلها وتحميلها (ETL) نشاطًا دوريًا (يوميًا، أسبوعيًا، أو شهريًا) في نظام مستودع البيانات، ولذا يجب أن تتسم بالمرونة والأتمتة والتوثيق الجيد.
لماذا تحتاج ETL؟
هناك العديد من الأسباب لاعتماد ETL في المنظمة:
- يساعد ذلك الشركات على تحليل بيانات أعمالها لاتخاذ قرارات تجارية حاسمة.
- لا تستطيع قواعد البيانات الخاصة بالمعاملات الإجابة على أسئلة الأعمال المعقدة التي يمكن الإجابة عليها من خلال مثال ETL.
- يوفر مستودع البيانات مخزنًا مشتركًا للبيانات.
- يوفر ETL طريقة لنقل البيانات من مصادر مختلفة إلى مستودع البيانات.
- مع تغير مصادر البيانات، سيتم تحديث مستودع البيانات تلقائيًا.
- يُعد نظام ETL المصمم والموثق جيدًا أمرًا ضروريًا تقريبًا لنجاح مشروع مستودع البيانات.
- السماح بالتحقق من قواعد تحويل البيانات وتجميعها وحسابها.
- تتيح عملية ETL مقارنة بيانات العينة بين النظام المصدر والنظام الهدف.
- يمكن لعملية ETL إجراء تحويلات معقدة وتتطلب مساحة إضافية لتخزين البيانات.
- تساعد عملية ETL في نقل البيانات إلى مستودع البيانات، وتحويل التنسيقات والأنواع المختلفة إلى نظام واحد متسق.
- ETL هي عملية محددة مسبقًا للوصول إلى بيانات المصدر ومعالجتها في قاعدة البيانات الهدف.
- توفر عملية استخراج البيانات وتحويلها وتحميلها (ETL) في مستودع البيانات سياقًا تاريخيًا عميقًا للأعمال.
- يساعد ذلك على تحسين الإنتاجية لأنه يقوم بتقنين وإعادة استخدام المعلومات دون الحاجة إلى مهارات تقنية.
بعد فهم واضح لقيمة ETL، دعونا نتعمق في العملية المكونة من ثلاث خطوات والتي تجعل كل شيء يعمل.
عملية ETL في مستودعات البيانات
ETL هي عملية من 3 خطوات
الخطوة 1) مثالtracالإنتاج
في هذه الخطوة من بنية ETL، يتم استخراج البياناتtracيتم نقل البيانات من النظام المصدر إلى منطقة التخزين المؤقت. وتُجرى أي تحويلات، إن وجدت، في منطقة التخزين المؤقت لضمان عدم تدهور أداء النظام المصدر. كما أن نسخ البيانات التالفة مباشرةً من المصدر إلى قاعدة بيانات مستودع البيانات سيُصعّب عملية التراجع. وتتيح منطقة التخزين المؤقت فرصة للتحقق من صحة البيانات.tracالبيانات قبل نقلها إلى مستودع البيانات.
يحتاج مستودع البيانات إلى دمج أنظمة ذات أنظمة إدارة قواعد بيانات وأجهزة مختلفة. Operaأنظمة الاتصال وبروتوكولات الاتصال. قد تشمل المصادر تطبيقات قديمة مثل الحواسيب المركزية، وتطبيقات مخصصة، وأجهزة نقاط الاتصال مثل أجهزة الصراف الآلي، ومقاسم الاتصال، وملفات نصية، وجداول بيانات، وأنظمة تخطيط موارد المؤسسات، وبيانات من الموردين والشركاء، وغيرها.
لذا، يحتاج المرء إلى خريطة بيانات منطقية قبل استخراج البيانات.tracتم تحميل البيانات فعليًا. توضح خريطة البيانات هذه العلاقة بين مصادر البيانات وبيانات الهدف.
ثلاثة أمثلة على البياناتtracطرق التحليل:
- كاملtracالإنتاج
- تنفيذ جزئيtraction- بدون إشعار بالتحديث.
- تنفيذ جزئيtraction- مع إشعار التحديث
بغض النظر عن الطريقة المستخدمة، على سبيل المثالtracيجب ألا يؤثر هذا الإجراء على أداء وسرعة استجابة الأنظمة المصدرية، وهي قواعد بيانات إنتاجية حية. أي تباطؤ أو توقف قد يؤثر سلبًا على أرباح الشركة.
يتم إجراء بعض عمليات التحقق أثناء التنفيذtracنشوئها:
- التوفيق بين السجلات والبيانات المصدر
- تأكد من عدم تحميل أي بيانات غير مرغوب فيها أو بريد عشوائي
- فحص نوع البيانات
- إزالة جميع أنواع البيانات المكررة/المجزأة
- تأكد من وجود جميع المفاتيح في مكانها.
الخطوة 2) التحول
بيانات مثالtracالبيانات المستخرجة من الخادم المصدر تكون خامة وغير قابلة للاستخدام بصيغتها الأصلية. لذا، فهي تحتاج إلى تنظيفها وتعيينها وتحويلها. في الواقع، هذه هي الخطوة الأساسية التي تُضيف فيها عملية استخراج البيانات وتحويلها وتحميلها قيمةً وتُغير البيانات بحيث يُمكن إنشاء تقارير ذكاء أعمال ثاقبة.
يُعدّ هذا أحد المفاهيم المهمة في عملية استخراج البيانات وتحويلها وتحميلها (ETL)، حيث يتم تطبيق مجموعة من الوظائف على البيانات.tracبيانات ted. تُسمى البيانات التي لا تتطلب أي تحويل ببيانات ted. التحرك المباشر or البيانات المارة.
في خطوة التحويل، يمكنك إجراء عمليات مخصصة على البيانات. على سبيل المثال، إذا أراد المستخدم مجموع إيرادات المبيعات غير الموجودة في قاعدة البيانات، أو إذا كان الاسم الأول واسم العائلة في جدول ما موجودين في عمودين مختلفين، فمن الممكن دمجهما قبل التحميل.
البيانات التالية Integrity المشاكل:
- تهجئات مختلفة لنفس الشخص، مثل جون، جون، إلخ.
- توجد طرق متعددة للدلالة على اسم الشركة، مثل Google, Google Inc.
- استخدام أسماء مختلفة مثل كليفلاند وكليفلاند.
- قد توجد حالة يتم فيها إنشاء أرقام حسابات مختلفة بواسطة تطبيقات مختلفة لنفس العميل.
- في بعض الحالات، تظل ملفات البيانات المطلوبة فارغة
- تم جمع المنتج غير الصالح عند نقطة البيع، حيث أن الإدخال اليدوي قد يؤدي إلى أخطاء.
تتم عمليات التحقق خلال هذه المرحلة
- التصفية - حدد أعمدة معينة فقط للتحميل
- استخدام القواعد وجداول البحث لتوحيد البيانات
- تحويل مجموعة الأحرف والتعامل مع الترميز
- تحويل وحدات القياس، مثل تحويلات التاريخ والوقت، وتحويلات العملات، والتحويلات العددية، وما إلى ذلك.
- التحقق من صحة عتبة البيانات. على سبيل المثال، لا يمكن أن يتجاوز العمر رقمين.
- التحقق من صحة تدفق البيانات من منطقة التدريج إلى الجداول المتوسطة.
- لا ينبغي ترك الحقول المطلوبة فارغة.
- التنظيف (على سبيل المثال، الخريطة)ping (NULL إلى 0 أو الجنس ذكر إلى "M" وأنثى إلى "F"، إلخ.)
- قم بتقسيم عمود إلى عدة أعمدة وادمج عدة أعمدة في عمود واحد.
- نقل الصفوف والأعمدة،
- استخدم عمليات البحث لدمج البيانات
- باستخدام أي عملية تحقق معقدة من صحة البيانات (على سبيل المثال، إذا كان العمودان الأولان في الصف فارغين، فسيتم رفض الصف تلقائيًا من المعالجة)
الخطوة 3) التحميل
يُعدّ تحميل البيانات إلى قاعدة بيانات مستودع البيانات المستهدف الخطوة الأخيرة في عملية استخراج البيانات وتحويلها وتحميلها (ETL). في مستودعات البيانات النموذجية، يلزم تحميل كميات هائلة من البيانات في فترة زمنية قصيرة نسبيًا (ليلاً). لذا، يجب تحسين عملية التحميل لضمان الأداء الأمثل.
في حال حدوث عطل في التحميل، يجب تهيئة آليات الاسترداد لإعادة التشغيل من نقطة العطل دون فقدان سلامة البيانات. ويتعين على مسؤولي مستودع البيانات مراقبة عمليات التحميل واستئنافها وإلغائها وفقًا لأداء الخادم السائد.
أنواع التحميل:
- التحميل الأولي — ملء جميع جداول مستودع البيانات
- الحمل الإضافي — تطبيق التغييرات المستمرة حسب الحاجة بشكل دوري.
- تحديث كامل - مسح محتويات جدول واحد أو أكثر وإعادة التحميل ببيانات جديدة.
التحقق من التحميل
- تأكد من أن بيانات الحقل الرئيسية ليست مفقودة أو فارغة.
- اختبار طرق عرض النمذجة بناءً على الجداول المستهدفة.
- تأكد من أن القيم المجمعة والمقاييس المحسوبة متطابقة.
- عمليات التحقق من البيانات في جدول الأبعاد وكذلك في جدول السجل.
- تحقق من تقارير BI في جدول الحقائق والأبعاد الذي تم تحميله.
معالجة البيانات المتوازية وتقنية ETL
تتيح تقنية ETL Pipelining إمكانية الحصول على نتائج مثلtraction، التحويل، والتحميل ليتم حدوثها معا بدلاً من التسلسل. بمجرد أن يتم استخراج جزء من البياناتtracتيد، يتم تحويلها وتحميلها أثناء استخراج البيانات الجديدةtracيستمر هذا. المعالجة المتوازية يحسن الأداء بشكل كبير، ويقلل من وقت التوقف، ويزيد من استخدام موارد النظام إلى أقصى حد.
تُعد هذه المعالجة المتوازية ضرورية لـ تحليلات في الوقت الحقيقي، وتكامل البيانات على نطاق واسع، وأنظمة ETL السحابية. من خلال التداخلping تضمن مهام ETL المترابطة نقل البيانات بشكل أسرع، وكفاءة أعلى، وتسليم بيانات أكثر اتساقًا للمؤسسات الحديثة.
كيف يُحسّن الذكاء الاصطناعي خطوط أنابيب ETL الحديثة؟
الذكاء الاصطناعي revolutيُحدث هذا النظام ثورة في عمليات استخراج البيانات وتحويلها وتحميلها (ETL) من خلال جعل مسارات البيانات قابلة للتكيف، وذكية، وذاتية التحسين. تستطيع خوارزميات الذكاء الاصطناعي رسم خرائط المخططات تلقائيًا، واكتشاف الحالات الشاذة، والتنبؤ بقواعد التحويل دون الحاجة إلى تكوين يدوي. وهذا يُمكّن عمليات ETL من التعامل مع هياكل البيانات المتطورة بسلاسة مع الحفاظ على جودة البيانات.
تستفيد منصات ETL الحديثة المعززة بالذكاء الاصطناعي من تقنيات مثل AutoML للهندسة التلقائية للميزات، ورسم الخرائط المستندة إلى معالجة اللغة الطبيعية.ping يفهم هذا النظام العلاقات الدلالية بين الحقول، ويحتوي على خوارزميات لكشف الشذوذات تحدد مشكلات جودة البيانات في الوقت الفعلي. هذه الإمكانيات تقلل بشكل كبير من الجهد اليدوي المطلوب تقليديًا في تطوير وصيانة عمليات استخراج البيانات وتحويلها وتحميلها (ETL).
تعلم الآلة يُحسّن هذا النظام ضبط الأداء، مما يضمن تكاملاً أسرع وأكثر دقة للبيانات. ومن خلال إدخال الأتمتة والذكاء التنبؤي، يوفر نظام ETL المدعوم بالذكاء الاصطناعي رؤى فورية ويدفع نحو كفاءة أكبر عبر بيئات البيانات السحابية والهجينة.
لتطبيق المفاهيم المذكورة أعلاه، تعتمد المؤسسات على أدوات ETL متخصصة. فيما يلي بعض الخيارات الرائدة المتاحة في السوق.
أدوات ETL
هناك العديد أدوات ETL متوفرة في السوق. إليكم بعض أبرزها:
1. مارك لوجيك:
MarkLogic هو حل لتخزين البيانات يُسهّل عملية دمج البيانات ويُسرّعها باستخدام مجموعة من ميزات المؤسسات. ويمكنه الاستعلام عن أنواع مختلفة من البيانات مثل المستندات والعلاقات والبيانات الوصفية.
https://www.marklogic.com/product/getting-started/
2. Oracle:
Oracle تُعدّ هذه القاعدة بيانات رائدة في هذا المجال، إذ تُقدّم مجموعة واسعة من حلول مستودعات البيانات، سواءً للأنظمة المحلية أو السحابية. كما تُساهم في تحسين تجربة العملاء من خلال رفع كفاءة العمليات التشغيلية.
https://www.oracle.com/index.html
3. Amazon أحمرShift:
Amazon ريدشيفت هي أداة لتخزين البيانات. وهي أداة بسيطة وفعالة من حيث التكلفة لتحليل جميع أنواع البيانات باستخدام المعايير القياسية. SQL وأدوات BI الموجودة. كما يسمح أيضًا بتشغيل استعلامات معقدة على بايتات من البيانات المنظمة.
https://aws.amazon.com/redshift/?nc2=h_m1
هنا قائمة كاملة من مفيدة أدوات مستودع البيانات.
أفضل الممارسات لعملية ETL
فيما يلي أفضل الممارسات لخطوات عملية ETL:
- لا تحاول مطلقًا تنظيف جميع البيانات:
ترغب جميع المؤسسات في تنظيف جميع بياناتها، لكن معظمها غير مستعد لدفع تكاليف الانتظار، أو ببساطة غير مستعد للانتظار. فتنظيف البيانات بالكامل سيستغرق وقتاً طويلاً، لذا من الأفضل عدم محاولة تنظيفها بالكامل. - وازن بين النظافة وأولويات العمل:
مع الحرص على تجنب الإفراط في تنظيف جميع البيانات، تأكد من تنظيف الحقول الهامة وذات التأثير الكبير لضمان موثوقيتها. ركز جهود التنظيف على عناصر البيانات التي تؤثر بشكل مباشر على قرارات العمل ودقة التقارير. - تحديد تكلفة تنقية البيانات:
قبل تنظيف جميع البيانات القذرة، من المهم بالنسبة لك تحديد تكلفة التنظيف لكل عنصر من عناصر البيانات القذرة. - لتسريع معالجة الاستعلام، احصل على طرق عرض وفهارس مساعدة:
لتقليل تكاليف التخزين، قم بتخزين البيانات المختصرة على أشرطة الأقراص. كما أن هناك حاجة إلى التوفيق بين حجم البيانات المراد تخزينها واستخدامها التفصيلي. التوفيق بين مستوى تفصيل البيانات لتقليل تكاليف التخزين.
