مستودع البيانات Architecture والمكونات والرسم البياني Concepts
فريق التحرير
⚡ ملخص ذكي
مستودع البيانات Archiتحدد البنية كيفية تنظيم البيانات التاريخية والتراكمية من مصادر متعددة في طبقات متدرجة ومكونات مترابطة، مما يتيح إعداد التقارير والتحليلات الموثوقة، ونسخة واحدة من الحقيقة لاتخاذ القرارات والتنبؤات التنظيمية.
مستودع البيانات Concepts
A مستودع البيانات يُوجد هذا النظام لتزويد الشركة بنسخة واحدة موثوقة من البيانات لاتخاذ القرارات والتنبؤات. وهو نظام معلوماتي يحتوي على بيانات تاريخية وتراكمية مستقاة من مصدر واحد أو عدة مصادر.
من خلال تنظيم تلك البيانات لأغراض التحليل بدلاً من المعاملات، يعمل مستودع البيانات على تبسيط أعمال إعداد التقارير والتحليل للمؤسسة بأكملها.
خصائص مستودع البيانات
يتميز مستودع البيانات بأربع خصائص مميزة تميزه عن قاعدة البيانات التشغيلية الروتينية:
- موجه نحو الموضوع
- المتكاملة
- تغير الوقت
- غير متطاير
موجه نحو الموضوع
يُعتبر مستودع البيانات مُوجَّهاً نحو موضوع معين لأنه يُقدِّم معلومات حول موضوع مُحدَّد بدلاً من العمليات الجارية للشركة. وتشمل المواضيع النموذجية المبيعات والتسويق والتوزيع.
بدلاً من المعالجة اليومية، يركز المستودع على النمذجة والتحليل لاتخاذ القرارات. فهو يقدم نظرة بسيطة وموجزة لكل موضوع، ويستبعد البيانات التي لا تدعم عملية اتخاذ القرار.
المتكاملة
يرتبط التكامل ارتباطًا وثيقًا بتوجه البيانات. في مستودع البيانات، يعني التكامل إنشاء وحدة قياس مشتركة لجميع البيانات المتشابهة المستمدة من قواعد بيانات مختلفة، وتخزين تلك البيانات بطريقة مشتركة ومقبولة عالميًا.
يتم بناء مستودع البيانات من خلال دمج البيانات من مصادر متنوعة مثل الحواسيب المركزية وقواعد البيانات العلائقية والملفات النصية. كما يجب أن يحافظ على اصطلاحات تسمية وتنسيقات وتشفير متسقة.
إن هذا التناسق في التسمية، ومقاييس السمات، وبنية الترميز هو ما يجعل التحليل الفعال ممكناً. لنأخذ المثال التالي:
في المثال أعلاه، تقوم ثلاثة تطبيقات تحمل العلامات A وB وC بتخزين معلومات الجنس والتاريخ والرصيد، ولكن كل تطبيق يخزنها بطريقة مختلفة:
- يقوم التطبيق أ بتخزين حقل الجنس كقيم منطقية مثل M أو F.
- يقوم التطبيق "ب" بتخزين حقل الجنس كقيمة عددية.
- يقوم التطبيق C بتخزين حقل الجنس كقيمة حرفية.
- وينطبق الاختلاف نفسه على حقلي التاريخ والرصيد.
بعد عملية التحويل والتنظيف، يتم تخزين كل هذه البيانات بتنسيق مشترك داخل مستودع البيانات.
تغير الوقت
إن الأفق الزمني لمستودع البيانات أوسع بكثير من الأفق الزمني للنظام التشغيلي. تُعرَّف البيانات بفترة زمنية محددة، وتقدم منظورًا تاريخيًا، لذا فهي تحمل دائمًا عنصرًا زمنيًا، سواء بشكل صريح أو ضمني.
يظهر هذا التباين الزمني في بنية مفتاح السجل. يجب أن يحتوي كل مفتاح أساسي في المستودع على عنصر زمني، مثل اليوم أو الأسبوع أو الشهر.
ومن الجوانب الأخرى لتغير الوقت أنه بمجرد إدخال البيانات في المستودع، لا يمكن تحديثها أو تغييرها.
غير متطاير
يتميز مستودع البيانات أيضاً بأنه غير متطاير، مما يعني أن البيانات السابقة لا تُحذف عند وصول بيانات جديدة. البيانات للقراءة فقط ويتم تحديثها دورياً، مما يساعد المحللين على دراسة البيانات التاريخية وفهم ما حدث ومتى.
نظرًا لعدم حاجتها إلى معالجة المعاملات أو الاسترداد أو التحكم في التزامن، فإن مستودع البيانات يستغني عن عمليات الحذف والتحديث والإدراج الشائعة في التطبيقات التشغيلية. يتم تنفيذ عمليتين فقط من عمليات البيانات في مستودعات البيانات:
- تحميل البيانات
- الدخول الى البيانات
يُبرز الجدول أدناه بعض الاختلافات الرئيسية بين التطبيق التشغيلي ومستودع البيانات:
| Operaالتطبيق الوطني | مستودع البيانات |
|---|---|
| يجب برمجة البرامج المعقدة للتأكد من أن عمليات ترقية البيانات تحافظ على سلامة المنتج النهائي. | لا تحدث هذه المشكلة لأن تحديث البيانات لا يتم. |
| يتم وضع البيانات في نموذج عادي لضمان الحد الأدنى من التكرار. | لا يتم تخزين البيانات في شكل طبيعي. |
| إن التكنولوجيا اللازمة لدعم قضايا المعاملات واستعادة البيانات والتراجع وحل حالات الجمود معقدة للغاية. | إنه يوفر بساطة نسبية في مجال التكنولوجيا. |
مستودع البيانات Architecture
مستودع البيانات Archiتُعدّ بنية النظام معقدة لأنه يخزن بيانات تاريخية وتراكمية من مصادر متعددة. وهناك ثلاثة مناهج لبناء طبقات مستودع البيانات: طبقة واحدة، طبقتان، وثلاث طبقات.
هندسة ذات طبقة واحدة يهدف إلى تقليل كمية البيانات المخزنة عن طريق إزالة البيانات المكررة. ونادراً ما يُستخدم عملياً.
هندسة ذات مستويين يفصل هذا النظام المصادر المتاحة فعلياً عن مستودع البيانات. وهو غير قابل للتوسع بسهولة، ويدعم عدداً أقل من المستخدمين النهائيين، وقد يواجه مشاكل في الاتصال بسبب قيود الشبكة.
ثلاثة مستويات العمارة يُعد هذا التصميم الأكثر استخدامًا لمستودعات البيانات.
وهي تتكون من الطبقات العليا والوسطى والسفلية:
- الطبقة السفلى: تُشكل قاعدة بيانات المستودع الطبقة السفلية. وهي عادةً ما تكون نظام قاعدة بيانات علائقية، ويتم تنظيف البيانات وتحويلها وتحميلها في هذه الطبقة باستخدام أدوات الواجهة الخلفية.
- الطبقة الوسطى: الطبقة الوسطى عبارة عن خادم OLAP مُنفذ باستخدام نموذج ROLAP أو MOLAP. وهي تمثل قيمة مطلقةtracيعرض هذا البرنامج عرضًا لقاعدة البيانات ويعمل كوسيط بين المستخدم النهائي وقاعدة البيانات.
- الطبقة العليا: الطبقة العليا هي طبقة العميل الأمامية. وهي تحتوي على الأدوات وواجهات برمجة التطبيقات المستخدمة للاتصال بمستودع البيانات واستخراج البيانات منه، مثل أدوات الاستعلام، وأدوات إعداد التقارير، وأدوات الاستعلام المُدارة، وأدوات التحليل، وأدوات استخراج البيانات.
مكونات مستودع البيانات
تعمل مكونات وبنية مستودع البيانات بشكل عام معًا كما هو موضح في الرسم التخطيطي أدناه.
يعتمد مستودع البيانات على خادم RDBMS، وهو مستودع معلومات مركزي محاط بمكونات رئيسية تحافظ على البيئة بأكملها فعالة وقابلة للإدارة ويمكن الوصول إليها.
يتكون مستودع البيانات من خمسة مكونات رئيسية، موضحة أدناه.
قاعدة بيانات مستودع البيانات
تُعد قاعدة البيانات المركزية أساس بيئة التخزين ويتم تنفيذها على RDBMS التكنولوجيا. نظرًا لأن نظام إدارة قواعد البيانات العلائقية التقليدي مصمم لمعالجة المعاملات بدلاً من التخزين، فإن العمليات كثيفة الموارد مثل الاستعلامات المخصصة، وعمليات الربط بين الجداول المتعددة، والتجميعات يمكن أن تبطئه.
ولهذا السبب، يتم استخدام أساليب بديلة لقواعد البيانات:
- يتم نشر قواعد البيانات العلائقية بالتوازي للسماح بقابلية التوسع، باستخدام نماذج الذاكرة المشتركة أو نماذج عدم المشاركة على مختلف تكوينات المعالجات المتعددة أو التكوينات المتوازية بشكل كبير.
- تُستخدم هياكل الفهرسة الجديدة لتجاوز عمليات مسح الجداول العلائقية وتحسين السرعة.
- تُستخدم قواعد البيانات متعددة الأبعاد (MDDBs) للتغلب على قيود نماذج مستودعات البيانات العلائقية. ومن الأمثلة على ذلك Essbase من Oracle.
أدوات تحديد المصادر والاستحواذ والتنظيف والتحويل (ETL)
تُجري أدوات استخراج البيانات وتحويلها وترحيلها جميع عمليات التحويل والتلخيص والتغييرات اللازمة لتحويل البيانات إلى تنسيق مستودع بيانات موحد. وتُسمى أيضًا Extracأدوات التحويل والتحميل (ETL).
تشمل وظائفها ما يلي:
- إخفاء هوية البيانات وفقًا للشروط التنظيمية.
- قم بإزالة البيانات غير المرغوب فيها من قواعد البيانات التشغيلية قبل تحميلها في المستودع.
- ابحث واستبدل الأسماء والتعريفات الشائعة للبيانات الواردة من مصادر مختلفة.
- حساب الملخصات والبيانات المشتقة.
- قم بتعبئة البيانات المفقودة بالقيم الافتراضية.
- إزالة البيانات المكررة الواردة من مصادر متعددة.
تشبه أدوات ETL قد يقوم بإنشاء مهام cron، ومهام الخلفية، وبرامج Cobol، ونصوص shell التي تقوم بتحديث المستودع بانتظام وتساعد في الحفاظ على البيانات الوصفية.
ولأنها تستمد بياناتها من العديد من الأنظمة، يجب على أدوات ETL أيضاً التعامل مع عدم تجانس قواعد البيانات والبيانات.
بيانات
قد يبدو مصطلح "بيانات" معقداً، ولكنه ببساطة عبارة عن بيانات حول البيانات تُعرّف مستودع البيانات. ويُستخدم لبناء مستودع البيانات وصيانته وإدارته.
ضمن بنية النظام، تحدد البيانات الوصفية مصدر البيانات واستخدامها وقيمها وخصائصها، وتحدد كيفية تغيير البيانات ومعالجتها، بحيث تظل مرتبطة ارتباطًا وثيقًا بالمستودع.
على سبيل المثال، قد يحتوي سطر في قاعدة بيانات المبيعات على ما يلي:
4030 KJ732 299.90
هذا لا معنى له حتى توضح البيانات الوصفية أنه يمثل رقم طراز 4030، ومعرف وكيل مبيعات KJ732، ومبلغ مبيعات إجمالي قدره 299.90 دولارًا.
لذا فإن البيانات عنصر أساسي في تحويل البيانات إلى معرفة، وهي تساعد في الإجابة على أسئلة مثل:
- ما هي الجداول والخصائص والمفاتيح التي يحتويها المستودع؟
- من أين جاءت البيانات؟
- كم مرة يتم إعادة تحميل البيانات؟
- ما هي التحولات وعمليات التطهير التي تم تطبيقها؟
تنقسم البيانات إلى فئتين:
- البيانات الفنية: هذا يصف المستودع للمصممين والمسؤولين الذين يقومون ببنائه وتشغيله.
- بيانات الأعمال: وهذا يمنح المستخدمين النهائيين طريقة سهلة لفهم المعلومات المخزنة في المستودع.
أدوات الاستعلام
يتمثل الهدف الرئيسي لتخزين البيانات في تزويد الشركات بالمعلومات التي تحتاجها لاتخاذ قرارات استراتيجية، وأدوات الاستعلام هي الطريقة التي يتفاعل بها المستخدمون مع النظام.
تندرج هذه الأدوات ضمن أربع فئات:
- أدوات الاستعلام وإعداد التقارير
- أدوات تطوير التطبيقات
- أدوات استخراج البيانات
- أدوات OLAP
أدوات الاستعلام وإعداد التقارير
تنقسم أدوات الاستعلام وإعداد التقارير إلى مجموعتين: أدوات إعداد التقارير وأدوات الاستعلام المُدارة.
أدوات التقارير وتنقسم كذلك إلى أدوات إعداد التقارير الإنتاجية وبرامج كتابة التقارير المكتبية:
- كتّاب التقارير: صُممت هذه الأدوات للمستخدمين النهائيين الذين يقومون بإنشاء تحليلاتهم الخاصة.
- تقارير الإنتاج: تتيح هذه الأدوات للمؤسسات إنشاء تقارير تشغيلية دورية ودعم عمليات المعالجة الدفعية ذات الحجم الكبير، مثل الطباعة والحساب. ومن الأمثلة الشائعة عليها: بريو، وبيزنس أوبجكتس. Oracle، و PowerSoft، ومعهد SAS.
أدوات الاستعلام المدارة مساعدة المستخدمين النهائيين عن طريق إدخال طبقة وسيطة بين المستخدم وقاعدة البيانات، مما يخفي تعقيد لغة SQL وبنية قاعدة البيانات.
أدوات تطوير التطبيقات
عندما لا تستطيع الأدوات الرسومية والتحليلية المدمجة تلبية الاحتياجات التحليلية للمؤسسة، يتم إنشاء تقارير مخصصة باستخدام أدوات تطوير التطبيقات.
أدوات استخراج البيانات
يكشف التنقيب عن البيانات عن علاقات وأنماط واتجاهات جديدة ذات مغزى داخل كميات كبيرة من البيانات، وتعمل أدوات التنقيب عن البيانات على أتمتة هذا الاكتشاف.
أدوات OLAP
OLAP تعتمد الأدوات على قاعدة بيانات متعددة الأبعاد وتتيح للمستخدمين تحليل البيانات من خلال عروض تفصيلية متعددة الأبعاد.
ناقل مستودع البيانات Architecture
تحدد ناقلة مستودع البيانات كيفية تدفق البيانات عبر المستودع. ويمكن تصنيف هذا التدفق إلى تدفق وارد، وتدفق صاعد، وتدفق هابط، وتدفق صادر، وتدفق بيانات وصفية.
عند تصميم الحافلة، يجب مراعاة الأبعاد والحقائق المشتركة التي تمتد عبر مستودعات البيانات.
سوق البيانات
A مارت البيانات هي طبقة وصول تُستخدم لتوصيل البيانات إلى المستخدمين. وهي مناسبة للمستودعات الكبيرة لأنها تتطلب وقتًا وتكلفة أقل في الإنشاء، على الرغم من عدم وجود تعريف متفق عليه لمستودع البيانات.
ببساطة، يُعدّ مستودع البيانات فرعاً من مستودع البيانات الرئيسي. وهو يقسم البيانات لمجموعة محددة من المستخدمين، ويمكن أن يكون موجوداً في نفس قاعدة البيانات الخاصة بمستودع البيانات الرئيسي أو في قاعدة بيانات منفصلة فعلياً.
مستودع البيانات Archiأفضل الممارسات في التدريس
لتصميم بنية سليمة لمستودع البيانات، اتبع أفضل الممارسات التالية:
- استخدم نماذج مستودعات البيانات المُحسَّنة لاسترجاع المعلومات، سواءً أكان ذلك الأبعادالنهج غير المعياري أو النهج الهجين.
- اختر نهج تصميم مناسب، سواء كان من أعلى إلى أسفل أو من أسفل إلى أعلى.
- تأكد من معالجة البيانات بسرعة ودقة مع دمجها في نسخة واحدة من الحقيقة.
- صمم بعناية عملية جمع البيانات وتنظيفها للمستودع.
- صمم بنية بيانات وصفية تسمح بمشاركة البيانات الوصفية بين مكونات المستودع.
- النظر في Operaنموذج مخزن البيانات الوطني (ODS) عندما تكون احتياجات الاسترجاع قريبة من أسفل قاعدة البيانات.tracهرم العمليات أو عندما يجب الوصول إلى مصادر تشغيلية متعددة.
- تأكد من أن نموذج البيانات متكامل وليس مجرد موحد؛ في هذه الحالة، استخدم نموذج بيانات 3NF، وهو مثالي أيضًا عند الحصول على أدوات ETL وتنظيف البيانات.
