اختبار ETL التعليمي

ما هو ETL؟

ETL لتقف على Extract-Transform-Loadويصف هذا كيفية انتقال البيانات من نظام المصدر إلى مستودع البيانات. البيانات هي مثالtracيتم استخراج البيانات من قاعدة بيانات معالجة المعاملات الفورية (OLTP)، وتحويلها لتتوافق مع مخطط مستودع البيانات، ثم تحميلها إلى قاعدة بيانات المستودع. كما تتضمن العديد من المستودعات بيانات من أنظمة غير معالجة المعاملات الفورية، مثل الملفات النصية والتطبيقات القديمة وجداول البيانات.

على سبيل المثال، قد يضم متجر بيع بالتجزئة أقسامًا منفصلة مثل المبيعات والتسويق والخدمات اللوجستية. يتعامل كل قسم مع معلومات العملاء بشكل مستقل، وتختلف طريقة تخزين هذه البيانات من قسم لآخر. فقسم المبيعات قد يخزن السجلات حسب اسم العميل، بينما يستخدم قسم التسويق رقم تعريف العميل.

إذا أرادت فرق العمل مراجعة سجل مشتريات العميل بالكامل عبر حملات تسويقية مختلفة، فإن البيانات غير المتصلة تجعل ذلك شاقًا للغاية. الحل هو استخدام مستودع البيانات يُستخدم ETL لتخزين المعلومات من مصادر مختلفة في بنية موحدة. يستطيع ETL تحويل مجموعات البيانات غير المتشابهة إلى بنية موحدة، مما يُمكّن أدوات ذكاء الأعمال من استخلاص رؤى وتقارير ذات مغزى لاحقاً.

يوضح الرسم التخطيطي التالي تدفق عملية اختبار ETL والمفاهيم الأساسية التي ستستخدمها في هذا الدليل:

1) مثالtract

• Extracالبيانات ذات الصلة من نظام مصدر واحد أو أكثر.

2) تحويل

• تحويل البيانات إلى تنسيق DW (مستودع البيانات).
• إنشاء المفاتيح: المفتاح هو سمة بيانات واحدة أو أكثر تُعرّف كيانًا ما بشكل فريد. أنواع المفاتيح تتضمن هذه المفاتيح: المفتاح الأساسي، والمفتاح البديل، والمفتاح الخارجي، والمفتاح المركب، والمفتاح الاستبدالي. يمتلك مستودع البيانات هذه المفاتيح ولا يسمح لأي جهة أخرى بتعيينها.
• تنظيف البيانات: بعد استخراج البياناتtracبعد ذلك، ينتقل النظام إلى المرحلة التالية من التنظيف والمطابقة. يُعالج التنظيف النواقص ويكشف الأخطاء. أما المطابقة فتُحل التعارضات بين مجموعات البيانات غير المتوافقة، مما يُتيح استخدامها في مستودع بيانات المؤسسة. كما يُنشئ النظام بيانات وصفية تُساعد في تشخيص مشاكل النظام المصدر وتحسين جودة البيانات.

3) تحميل

• قم بتحميل البيانات إلى مستودع البيانات (DW).
• بناء المجاميع: يقوم التجميع بتلخيص وتخزين البيانات من جدول الحقائق لتحسين أداء استعلامات المستخدم النهائي.

ما هو اختبار ETL؟

يُجرى اختبار ETL لضمان دقة البيانات المحملة من المصدر إلى الوجهة بعد عملية التحويل التجاري. كما يشمل التحقق من البيانات في مختلف المراحل الوسيطة بين المصدر والوجهة. لأن ETL اختصار لـ Extracيغطي اختبار t-Transform-Load، ETL كل مرحلة من هذه المراحل الثلاث والنقاط التي تعبر فيها البيانات بينها.

لماذا يعد اختبار ETL مهمًا؟

بمجرد فهم ماهية اختبار ETL، يتبادر إلى الذهن سؤال آخر: لماذا تستثمر المؤسسات كل هذا الجهد فيه؟ تعتمد القرارات التجارية على بيانات صحيحة وكاملة وموثوقة، لذا فإن أي خطأ في عملية التحويل قد يؤثر سلبًا على التقارير المالية وتحليلات العملاء والإفصاحات التنظيمية.

توضح النقاط التالية القيمة العملية لاختبارات ETL القوية:

• دقة البيانات: يؤكد ذلك أن القيم التي تم تحويلها بواسطة قواعد العمل تتطابق مع الخريطة الموثقةping المواصفات، لمنع الفساد الصامت.
• تقارير موثوقة: تعتمد لوحات المعلومات وأدوات ذكاء الأعمال على مستودع البيانات، لذا فإن خطوط أنابيب ETL الموثقة تحمي كل تقرير ومؤشر أداء رئيسي في المراحل اللاحقة.
• التدقيق المطلوب: يتعين على قطاعات مثل الخدمات المصرفية والرعاية الصحية والتأمين إثبات الحفاظ على سلسلة البيانات وسلامتها من البداية إلى النهاية.
• إعادة العمل المخفضة: إن اكتشاف العيوب في البيئات المنخفضة يجنب عمليات إعادة تحميل الإنتاج المكلفة، وعمليات المطابقة اليدوية، والأخطاء التي تواجه العملاء.
• ضمان الأداء: يقيس اختبار ETL فترات التحميل والإنتاجية والاختناقات حتى يستمر مستودع البيانات في التوسع مع نمو حجم البيانات.

بعد توضيح هذه الدوافع، يستعرض القسم التالي العملية المنظمة التي يتبعها مختبرو ETL في المشاريع الحقيقية.

عملية اختبار ETL

على غرار عمليات الاختبار الأخرى، تمر عملية استخراج البيانات وتحويلها وتحميلها (ETL) بمراحل مختلفة. وفيما يلي المراحل المختلفة لعملية اختبار ETL:

يتم إجراء اختبار ETL على خمس مراحل:

1. تحديد مصادر البيانات ومتطلباتها
2. الحصول على البيانات
3. تطبيق منطق الأعمال والنمذجة البُعدية
4. بناء وتعبئة البيانات
5. بناء التقارير

مع وضع العملية عالية المستوى في الاعتبار، دعونا نلقي نظرة على أنواع الاختبارات المحددة التي تتناسب مع دورة الحياة هذه.

أنواع اختبار ETL

1. اختبار التحقق من صحة الإنتاج
   خطوات الاختبار: يُعرف هذا النوع من اختبارات ETL أيضًا باسم "موازنة الجداول" أو "مطابقة الإنتاج"، ويتم إجراؤه على البيانات أثناء انتقالها إلى أنظمة الإنتاج. ولضمان دعم قرارات الأعمال، يجب أن تكون بيانات الإنتاج مرتبةً ترتيبًا صحيحًا. المعلوماتيّة يوفر خيار التحقق من صحة البيانات إمكانيات أتمتة وإدارة اختبار ETL بحيث لا تتعرض أنظمة الإنتاج للخطر بسبب البيانات السيئة.
2. المصدر ل Target الاختبار (اختبار التحقق من الصحة)
   خطوات الاختبار: يتحقق هذا النوع من الاختبارات مما إذا كانت قيم البيانات المحولة تتطابق مع القيم المستهدفة المتوقعة.
3. تطبيق Upgrades
   خطوات الاختبار: يمكن إنشاء هذا النوع من اختبارات ETL تلقائيًا، مما يوفر وقتًا كبيرًا في تطوير الاختبار. يتحقق هذا الاختبار مما إذا كانت البيانات...tracالبيانات من تطبيق أو مستودع قديم تتطابق مع البيانات الموجودة في تطبيق أو مستودع جديد.
4. اختبار البيانات
   خطوات الاختبار: يتضمن اختبار البيانات فحص أنواع البيانات، وفحص طول البيانات، وفحص الفهرس أو القيود.
5. اختبار اكتمال البيانات
   خطوات الاختبار: يتحقق اختبار اكتمال البيانات من تحميل جميع البيانات المتوقعة من المصدر إلى الهدف. تشمل الاختبارات الشائعة مقارنة عدد السجلات والمجموعات والبيانات الفعلية بين أعمدة المصدر والهدف والتحقق من صحتها، وذلك عندما يكون التحويل بسيطًا أو غير موجود.
6. اختبار دقة البيانات
   خطوات الاختبار: يضمن هذا الاختبار تحميل البيانات وتحويلها بدقة كما هو متوقع.
7. اختبار تحويل البيانات
   خطوات الاختبار: غالباً ما يتعذر إجراء اختبار تحويل البيانات باستخدام مصدر واحد SQL الاستعلام ومقارنة المخرجات. قد يلزم تنفيذ عدة استعلامات SQL لكل صف للتحقق من قواعد التحويل.
8. اختبار جودة البيانات
   خطوات الاختبار:

   تشمل اختبارات جودة البيانات اختبارات بناء الجملة واختبارات المراجع. وهي تمنع أخطاء العمليات التجارية الناتجة عن التواريخ أو أرقام الطلبات غير الصحيحة.

   تُبلغ اختبارات بناء الجملة عن البيانات غير النظيفة بناءً على الأحرف غير الصالحة وأنماط الأحرف وترتيب الأحرف الكبيرة أو الصغيرة غير الصحيح.

   تتحقق الاختبارات المرجعية من البيانات مقابل نموذج البيانات. على سبيل المثال: معرف العميل.

   يشمل اختبار جودة البيانات أيضًا عمليات التحقق من الأرقام، والتحقق من التواريخ، والتحقق من الدقة، والتحقق من البيانات، والتحقق من القيم الفارغة.

9. اختبار ETL التزايدي
   خطوات الاختبار: يتحقق هذا الاختبار من سلامة البيانات القديمة والجديدة مع إضافة البيانات الجديدة. ويؤكد الاختبار التزايدي أن عمليات الإضافة والتحديث تتم معالجتها كما هو متوقع أثناء عملية استخراج البيانات وتحويلها وتحميلها التزايدية.
10. واجهة المستخدم الرسومية/اختبار الملاحة
    خطوات الاختبار: يتحقق هذا الاختبار من جوانب التنقل وواجهة المستخدم الرسومية لتقارير الواجهة الأمامية.

كيفية إنشاء حالة اختبار ETL

اختبار ETL هو مفهوم يمكن تطبيقه على أدوات وقواعد بيانات مختلفة في صناعة إدارة المعلومات. الهدف من اختبار ETL هو التأكد من أن البيانات المحملة من المصدر إلى الوجهة بعد تحويل الأعمال دقيقة. ويتضمن ذلك أيضاً التحقق من البيانات في مختلف المراحل المتوسطة بين المصدر والوجهة.

أثناء إجراء اختبارات ETL، يستخدم مختبر ETL دائمًا مستندين:

1. خريطة ETLping أوراق: خريطة ETLping تحتوي ورقة البيانات على جميع معلومات جداول المصدر والوجهة، بما في ذلك كل عمود وقيمته المرجعية في الجداول المرجعية. يجب أن يكون مختبرو عمليات استخراج البيانات وتحويلها وتحميلها (ETL) على دراية جيدة باستعلامات SQL، لأن اختبار ETL قد يتضمن كتابة استعلامات كبيرة تتضمن عمليات ربط متعددة للتحقق من صحة البيانات في أي مرحلة. خريطة ETLping توفر الجداول مساعدة كبيرة أثناء كتابة الاستعلامات للتحقق من البيانات.
2. مخطط قاعدة البيانات للمصدر والهدف: ينبغي الاحتفاظ بها في متناول اليد للتحقق من أي تفاصيل في الخريطةping ملاءات.

سيناريوهات اختبار ETL وحالات الاختبار

1. خريطةping التحقق من صحة المستندات
   حالات تجريبية: تحقق مما إذا كانت معلومات ETL المقابلة متوفرة في الخريطةping يجب الاحتفاظ بسجل تغييرات في كل خريطةping الوثيقة
2. التحقق
   حالات تجريبية:

   1) تحقق من صحة بنية جدول المصدر وجدول الهدف مقابل الخريطة المقابلةping الوثيقة
   2) يجب أن يكون نوع بيانات المصدر ونوع بيانات الهدف متطابقين.
   3) يجب أن يكون طول أنواع البيانات في كل من المصدر والهدف متساوياً.
   4) تحقق من تحديد أنواع وتنسيقات حقول البيانات.
   5) يجب ألا يقل طول نوع بيانات المصدر عن طول نوع بيانات الهدف.
   6) تحقق من صحة أسماء الأعمدة في الجدول مقابل الخريطةping الوثيقة

3. التحقق من صحة القيد
   حالات تجريبية: تأكد من تعريف القيود للجدول المحدد كما هو متوقع.
4. قضايا اتساق البيانات
   حالات تجريبية:

   1) قد يختلف نوع البيانات وطول سمة معينة عبر الملفات أو الجداول، حتى عندما يكون التعريف الدلالي هو نفسه.
   2) إساءة استخدام قيود التكامل.

5. قضايا الاكتمال
   حالات تجريبية:

   1) تأكد من تحميل جميع البيانات المتوقعة في الجدول المستهدف.
   2) قارن عدد السجلات بين المصدر والهدف.
   3) تحقق من وجود أي سجلات مرفوضة.
   4) تحقق من عدم اقتطاع البيانات في أعمدة الجداول المستهدفة.
   5) تحقق من تحليل القيم الحدية.
   6) قارن القيم الفريدة للحقول الرئيسية بين البيانات المحملة إلى المستودع وبيانات المصدر.

6. مسائل في الصواب
   حالات تجريبية:

   1) البيانات التي تحتوي على أخطاء إملائية أو تم تسجيلها بشكل غير دقيق.
   2) بيانات فارغة أو غير فريدة أو خارج النطاق.

7. تحول
   حالات تجريبية: تحقق من صحة كل قاعدة عمل ومنطق تحويل في الخريطةping يتم تطبيق المستند بشكل صحيح على بيانات المصدر قبل وصوله إلى الهدف.
8. جودة البيانات
   حالات تجريبية:

   1) التحقق من الأرقام: التحقق من صحة التنسيقات والقيم الرقمية.
   2) التحقق من التاريخ: يجب أن تتبع التواريخ تنسيقًا واحدًا وأن تكون متسقة عبر السجلات.
   3) فحص الدقة.
   4) التحقق من البيانات.
   5) التحقق من القيمة الفارغة.

9. التحقق من صحة فارغة
   حالات تجريبية: تحقق من القيم الفارغة حيث تم تحديد "غير فارغ" لعمود معين.
10. فحص مكرر
    حالات تجريبية:

    1) التحقق من صحة المفتاح الفريد والمفتاح الأساسي وأي عمود آخر يجب أن يكون فريدًا وفقًا لمتطلبات العمل للتأكد من عدم وجود صفوف مكررة.
    2) تحقق مما إذا كانت هناك أي قيم مكررة في أي عمود، على سبيل المثالtracتم استخراج البيانات من أعمدة مصادر متعددة ودمجها في عمود واحد.
    3) وفقًا لمتطلبات العميل، تأكد من عدم وجود تكرارات في مجموعة من الأعمدة المتعددة داخل الهدف.

11. التحقق من التاريخ
    حالات تجريبية: تُستخدم قيم التاريخ في العديد من مجالات تطوير عمليات استخراج البيانات وتحويلها وتحميلها (ETL):

    1) لمعرفة تاريخ إنشاء الصف.
    2) تحديد السجلات النشطة من منظور تطوير ETL.
    3) تحديد السجلات النشطة من منظور متطلبات العمل.
    4) في بعض الأحيان، يتم إنشاء التحديثات والإضافات بناءً على قيم التاريخ.

12. استكمال التحقق من صحة البيانات
    حالات تجريبية:

    1) التحقق من صحة مجموعة البيانات الكاملة في جداول المصدر والهدف باستخدام استعلام ناقص كأفضل حل.
    2) عليك إجراء عملية طرح المصدر من الهدف والهدف من المصدر.
    3) إذا أعاد استعلام الطرح أي قيمة، فيجب اعتبار تلك الصفوف غير متطابقة.
    4) قم بمطابقة الصفوف بين المصدر والهدف باستخدام عبارة التقاطع.
    5) يجب أن يتطابق العدد الذي تم إرجاعه بواسطة intersect مع الأعداد الفردية لجداول المصدر والهدف.
    6) إذا أعاد استعلام ناقص صفوفًا وكان عدد التقاطع أقل من عدد المصدر أو الهدف، فإن الصفوف المكررة موجودة.

13. نظافة البيانات
    حالات تجريبية: يجب حذف الأعمدة غير الضرورية قبل التحميل في منطقة التدريج.

أنواع أخطاء ETL

حتى مع وجود حالات اختبار قوية، قد تفشل مسارات ETL بطرق مختلفة. تلخص الصورة أدناه فئات الأخطاء التي يجب الانتباه إليها، ويصف الجدول التالي كل فئة منها.

نوع من الأخطاء	الوصف
أخطاء واجهة المستخدم / الأخطاء التجميلية	• متعلق بواجهة المستخدم الرسومية للتطبيق • نمط الخط، وحجم الخط، والألوان، والمحاذاة، والأخطاء الإملائية، والتنقل، وما إلى ذلك
خطأ متعلق بتحليل القيمة الحدودية (BVA).	• الحد الأدنى والحد الأقصى للقيم
خطأ متعلق بتقسيم فئة التكافؤ (ECP).	• نوع صالح وغير صالح
أخطاء الإدخال/الإخراج	• القيم الصالحة غير مقبولة • تم قبول القيم غير الصالحة
الأخطاء الحسابية	• الأخطاء الرياضية • الناتج النهائي خاطئ
تحميل أخطاء الحالة	• لا يسمح بتعدد المستخدمين • لا يسمح بالحمل المتوقع من قبل العميل
أخطاء حالة السباق	• تعطل النظام وتوقفه عن العمل • لا يمكن للنظام تشغيل منصات العميل
أخطاء التحكم في الإصدار	• لا يوجد شعار مطابق • لا توجد معلومات متاحة عن الإصدار • يحدث عادة في اختبار الانحدار
أخطاء H/W	• الجهاز لا يستجيب للتطبيق
مساعدة مصدر الخلل	• أخطاء في مستندات المساعدة

اختبار مستودع البيانات

اختبار مستودع البيانات اختبار مستودع البيانات هو أسلوب اختبار يتم فيه فحص البيانات داخل مستودع البيانات للتأكد من سلامتها وموثوقيتها ودقتها واتساقها، وذلك لضمان توافقها مع إطار عمل بيانات الشركة. والهدف الرئيسي من اختبار مستودع البيانات هو ضمان موثوقية البيانات المدمجة داخل المستودع بما يكفي لتمكين الشركة من اتخاذ القرارات بناءً عليها. بينما يركز اختبار ETL على نقل البيانات، يغطي اختبار مستودع البيانات طبقة التخزين وإعداد التقارير الأوسع التي يغذيها اختبار ETL في نهاية المطاف.

الفرق بين اختبار قاعدة البيانات واختبار ETL

على الرغم من أن كلا المجالين يتعاملان مع البيانات المنظمة، إلا أنهما يجيبان على أسئلة مختلفة. يوضح الجدول أدناه التباين العملي بينهما:

اختبار إي تي إل	اختبار قاعدة البيانات
يتحقق من نقل البيانات كما هو متوقع.	الهدف الأساسي هو التحقق مما إذا كانت البيانات تتبع القواعد والمعايير المحددة في نموذج البيانات.
يتحقق مما إذا كانت الأعداد في المصدر والهدف متطابقة، وأن البيانات المحولة كما هو متوقع.	يتحقق من عدم وجود سجلات يتيمة ومن الحفاظ على علاقات المفتاح الأساسي الأجنبي.
يتحقق من الحفاظ على علاقات المفاتيح الأساسية الخارجية أثناء عملية ETL.	يتحقق من عدم وجود جداول زائدة وأن قاعدة البيانات مُنظَّمة على النحو الأمثل.
يتحقق من وجود بيانات مكررة في البيانات المحملة.	يتحقق من وجود بيانات مفقودة في الأعمدة عند الحاجة.

اختبار الأداء في ETL

اختبار الأداء في ETL هي تقنية اختبار تضمن قدرة نظام ETL على التعامل مع أحمال المستخدمين المتعددين والمعاملات. الهدف الأساسي من ETL اختبار أداء يهدف هذا إلى تحسين أداء الجلسات من خلال تحديد نقاط الاختناق في الأداء وإزالتها. ويتم ذلك من خلال ربط قواعد البيانات المصدر والهدف.pingقد تحتوي الجلسات والنظام نفسه على اختناقات.

تُعد Informatica واحدة من أفضل الأدوات المستخدمة لاختبار الأداء وضبطه.

مسؤوليات مختبر ETL

تنقسم المسؤوليات الرئيسية لمختبر ETL إلى ثلاث فئات:

• طاولة المسرح / SFS أو MFS
• تم تطبيق منطق تحويل الأعمال
• Target تحميل الجدول من ملف المرحلة أو الجدول بعد تطبيق التحويل

تتضمن بعض المسؤوليات اليومية لمختبر ETL ما يلي:

• اختبار برنامج ETL
• اختبار مكونات مستودع بيانات ETL
• تنفيذ اختبارات تعتمد على البيانات في الواجهة الخلفية
• إنشاء وتصميم وتنفيذ حالات تجريبية، وخطط الاختبار، وأدوات الاختبار
• تحديد المشكلات وتقديم حلول للمشكلات المحتملة
• الموافقة على المتطلبات ومواصفات التصميم
• التحقق من صحة عمليات نقل البيانات واختبار الملفات المسطحة
• اكتب استعلامات SQL لسيناريوهات مختلفة مثل اختبارات العد

أتمتة اختبار ETL

تعتمد المنهجية العامة لاختبار ETL على استخدام برمجة SQL أو الفحص البصري للبيانات. هذه الأساليب تستغرق وقتًا طويلاً، وعرضة للأخطاء، ونادرًا ما توفر نتائج كاملة. تغطية الاختبارلتسريع التنفيذ، وتحسين التغطية، وخفض التكاليف، وتحسين خلل في بيئات الإنتاج والتطوير، يُعدّ الكشف عن الأخطاء وأتمتة العمليات ضرورة ملحة. ومن بين هذه الأدوات برنامج Informatica.

كما تقوم الفرق الحديثة بدمج الأتمتة التقليدية مع مساعدين مدعومين بالذكاء الاصطناعي يقترحون اختبارات التحويل، ويولدون بيانات مصدر اصطناعية، ويشيرون إلى انحراف المخطط، مما يتيح للمختبرين التركيز على منطق الأعمال المعقد بدلاً من صيانة البرامج النصية المتكررة.

أفضل الممارسات لاختبار ETL

1. تأكد من تحويل البيانات بشكل صحيح.
2. يجب تحميل البيانات المتوقعة في مستودع البيانات دون أي فقدان أو اقتطاع للبيانات.
3. تأكد من أن تطبيق ETL يرفض البيانات غير الصالحة بشكل مناسب، ويستبدلها بالقيم الافتراضية عند الاقتضاء، ويبلغ عنها.
4. تأكد من تحميل البيانات في المستودع ضمن الأطر الزمنية المحددة والمتوقعة للتحقق من قابلية التوسع والأداء.
5. ينبغي أن تحتوي جميع الطرق على اختبارات وحدة مناسبة بغض النظر عن مستوى الرؤية.
6. لقياس فعاليتها، يجب أن تستخدم جميع اختبارات الوحدة تقنيات التغطية المناسبة.
7. اسعَ إلى وضع تأكيد واحد لكل حالة اختبار.
8. إنشاء اختبارات الوحدة تلك الاستثناءات المستهدفة.

الدفع - أسئلة وأجوبة مقابلة اختبار ETL

الأسئلة الشائعة