ما هو مستودع البيانات؟ الأنواع والتعريف والمثال

ما هو تخزين البيانات؟

A تخزين البيانات (DW) هي عملية لجمع وإدارة البيانات من مصادر متنوعة لتوفير رؤى تجارية مفيدة. يتم استخدام مستودع البيانات عادةً لتوصيل بيانات الأعمال وتحليلها من غير المتجانسةneoلنا المصادر. يعد مستودع البيانات جوهر نظام ذكاء الأعمال المصمم لتحليل البيانات وإعداد التقارير.

إنه مزيج من التقنيات والمكونات التي تساعد على الاستخدام الاستراتيجي للبيانات. إنه تخزين إلكتروني لكمية كبيرة من المعلومات من قبل شركة ما، وهو مصمم للاستعلام والتحليل بدلاً من معالجة المعاملات. إنها عملية تحويل البيانات إلى معلومات وإتاحتها للمستخدمين في الوقت المناسب لإحداث فرق.

يتم الاحتفاظ بقاعدة بيانات دعم القرار (مستودع البيانات) بشكل منفصل عن قاعدة البيانات التشغيلية للمنظمة. ومع ذلك، فإن مستودع البيانات ليس منتجًا بل بيئة. إنه ل archiالبناء الهيكلي لنظام المعلومات الذي يزود المستخدمين بمعلومات دعم القرار الحالية والتاريخية والتي يصعب الوصول إليها أو تقديمها في مخزن البيانات التشغيلية التقليدية.

تعلمون أن العديد من قواعد البيانات المصممة بواسطة 3NF لنظام المخزون تحتوي على جداول مرتبطة ببعضها البعض. على سبيل المثال، يمكن أن يتضمن تقرير معلومات المخزون الحالي أكثر من 12 شرطًا مرتبطًا. يمكن أن يؤدي ذلك إلى إبطاء وقت الاستجابة للاستعلام والتقرير بسرعة. يوفر مستودع البيانات تصميمًا جديدًا يمكن أن يساعد في تقليل وقت الاستجابة ويساعد على تحسين أداء الاستعلامات الخاصة بالتقارير والتحليلات.

نظام مستودع البيانات معروف أيضًا بالمتابعةwing الاسم:

  • نظام دعم القرار (DSS)
  • النظام التنفيذي للمعلومات
  • نظام إدارة المعلومات
  • حل ذكاء الأعمال
  • تطبيق تحليلي
  • مستودع البيانات

تخزين البيانات

تاريخ مستودعات البيانات

يفيد Datawarehouse المستخدمين في فهم أداء مؤسستهم وتحسينه. تطورت الحاجة إلى تخزين البيانات مع تزايد استخدام أنظمة الكمبيوترplex والحاجة للتعامل مع كميات متزايدة من المعلومات. ومع ذلك، فإن تخزين البيانات ليس بالأمر الجديد.

فيما يلي بعض الأحداث الرئيسية في تطور مستودع البيانات-

  • 1960- دارتموث وجنرال ميلز في مشروع بحثي مشترك لتطوير المصطلحات الأبعاد والحقائق.
  • 1970 - قدمت شركة Nielsen وIRI أسواق بيانات ذات أبعاد لمبيعات التجزئة.
  • 1983 - قدمت شركة Tera Data نظامًا لإدارة قواعد البيانات مصممًا خصيصًا لدعم القرار
  • بدأ تخزين البيانات في أواخر الثمانينات عندما IBM قام العاملان بول ميرفي وباري ديفلين بتطوير مستودع بيانات الأعمال.
  • ومع ذلك، فإن المفهوم الحقيقي قدمه إنمون Bill. كان يعتبر والد مستودع البيانات. لقد كتب عن مجموعة متنوعة من المواضيع المتعلقة ببناء واستخدام وصيانة المستودع ومصنع معلومات الشركة.

كيف يعمل مستودع البيانات؟

يعمل مستودع البيانات كمستودع مركزي حيث تصل المعلومات من مصدر بيانات واحد أو أكثر. تتدفق البيانات إلى مستودع البيانات من نظام المعاملات وقواعد البيانات العلائقية الأخرى.

قد تكون البيانات:

  1. منظم
  2. شبه منظم
  3. بيانات غير منظمة

تتم معالجة البيانات وتحويلها واستيعابها حتى يتمكن المستخدمون من الوصول إلى البيانات المعالجة في مستودع البيانات من خلال أدوات ذكاء الأعمال وعملاء SQL وجداول البيانات. يقوم مستودع البيانات بدمج المعلومات الواردة من مصادر مختلفة في قاعدة بيانات شاملة واحدة.

ومن خلال دمج كل هذه المعلومات في مكان واحد، يمكن للمؤسسة تحليل عملائها بشكل أكثر شمولية. وهذا يساعد على التأكد من أنه قد أخذ في الاعتبار جميع المعلومات المتاحة. تخزين البيانات يجعل استخراج البيانات ممكنا. يبحث استخراج البيانات عن أنماط في البيانات قد تؤدي إلى زيادة المبيعات والأرباح.

أنواع مستودعات البيانات

ثلاثة أنواع رئيسية من مستودعات البيانات (DWH) هي:

1. مستودع بيانات المؤسسة (EDW):

مستودع بيانات المؤسسة (EDW) هو مستودع مركزي. ويوفر خدمة دعم القرار في جميع أنحاء المؤسسة. ويقدم نهجا موحدا لتنظيم وتمثيل البيانات. كما يوفر أيضًا إمكانية تصنيف البيانات حسب الموضوع ومنح الوصول وفقًا لتلك الأقسام.

2. مخزن البيانات التشغيلية:

مخزن البيانات التشغيلية، والذي يسمى أيضًا ODS، ليس سوى مخزن بيانات مطلوب عندما لا يدعم مستودع البيانات أو أنظمة OLTP احتياجات المؤسسات في إعداد التقارير. في ODS، يتم تحديث مستودع البيانات في الوقت الحقيقي. ومن ثم، فهو مفضل على نطاق واسع للأنشطة الروتينية مثل تخزين سجلات الموظفين.

3. داتا مارت:

A مارت البيانات هي مجموعة فرعية من مستودع البيانات. إنه مصمم خصيصًا لخط معين من الأعمال، مثل المبيعات أو التمويل أو المبيعات أو التمويل. في سوق البيانات المستقلة، يمكن جمع البيانات مباشرة من المصادر.

المراحل العامة لمستودع البيانات

في وقت سابق، بدأت المؤسسات في الاستخدام البسيط نسبيًا لتخزين البيانات. ومع ذلك، مع مرور الوقت، بدأ الاستخدام الأكثر تطورًا لتخزين البيانات.

المتابعةwing هي المراحل العامة لاستخدام مستودع البيانات (DWH):

قاعدة البيانات التشغيلية دون اتصال:

في هذه المرحلة، يتم فقط نسخ البيانات من نظام التشغيل إلى خادم آخر. وبهذه الطريقة، لا يؤثر تحميل البيانات المنسوخة ومعالجتها والإبلاغ عنها على أداء نظام التشغيل.

مستودع البيانات دون اتصال:

يتم تحديث البيانات الموجودة في مستودع البيانات بانتظام من قاعدة البيانات التشغيلية. يتم تعيين البيانات الموجودة في Datawarehouse وتحويلها لتحقيق أهداف Datawarehouse.

مستودع البيانات في الوقت الحقيقي:

في هذه المرحلة، يتم تحديث مستودعات البيانات كلما تمت أي معاملة في قاعدة البيانات التشغيلية. على سبيل المثال، نظام حجز الخطوط الجوية أو السكك الحديدية.

مستودع البيانات المتكامل:

في هذه المرحلة، يتم تحديث مستودعات البيانات بشكل مستمر عندما يقوم نظام التشغيل بإجراء معاملة. يقوم مستودع البيانات بعد ذلك بإنشاء المعاملات التي يتم تمريرها مرة أخرى إلى نظام التشغيل.

مكونات مستودع البيانات

أربعة مكونات لمستودعات البيانات هي:

مدير التحميل: يُسمى مدير التحميل أيضًا بالمكون الأمامي. يقوم بتنفيذ جميع العمليات المرتبطة باستخراج البيانات وتحميلها إلى المستودع. تتضمن هذه العمليات تحويلات لإعداد البيانات لإدخالها إلى مستودع البيانات.

مدير المستودع: يقوم مدير المستودع بتنفيذ العمليات المرتبطة بإدارة البيانات الموجودة في المستودع. ينفذ عمليات مثل تحليل البيانات لضمان الاتساق، وإنشاء الفهارس وطرق العرض، وتوليد عدم التطبيع والتجميعات، وتحويل ودمج البيانات المصدر و archiبيانات الخبز والخبز.

مدير الاستعلام: يُعرف مدير الاستعلام أيضًا بمكون الواجهة الخلفية. يقوم بتنفيذ جميع العمليات التشغيلية المتعلقة بإدارة استعلامات المستخدم. عمليات مكونات مستودع البيانات هذه هي استعلامات مباشرة إلى الجداول المناسبة لجدولة تنفيذ الاستعلامات.

أدوات وصول المستخدم النهائي:

يتم تصنيف ذلك إلى خمس مجموعات مختلفة مثل 1. إعداد تقارير البيانات 2. أدوات الاستعلام 3. أدوات تطوير التطبيقات 4. أدوات EIS، 5. أدوات OLAP و أدوات استخراج البيانات.

من يحتاج إلى مستودع البيانات؟

DWH (مستودع البيانات) مطلوب لجميع أنواع المستخدمين مثل:

  • صناع القرار الذين يعتمدون على كمية كبيرة من البيانات
  • المستخدمون الذين يستخدمون تخصيص، complex عمليات الحصول على المعلومات من مصادر بيانات متعددة.
  • يتم استخدامه أيضًا من قبل الأشخاص الذين يريدون تقنية بسيطة للوصول إلى البيانات
  • كما أنه ضروري لأولئك الأشخاص الذين يريدون اتباع نهج منظم لاتخاذ القرارات.
  • إذا كان المستخدم يريد أداءً سريعًا على كمية هائلة من البيانات التي تعد ضرورية للتقارير أو الشبكات أو الرسوم البيانية، فإن مستودع البيانات يكون مفيدًا.
  • يعد مستودع البيانات خطوة أولى إذا كنت تريد اكتشاف "الأنماط المخفية" لتدفقات البيانات والتجمعات.

ما هو استخدام مستودع البيانات؟

فيما يلي القطاعات الأكثر شيوعًا التي يتم فيها استخدام مستودع البيانات:

شركة طيران:

في نظام شركات الطيران، يتم استخدامه لأغراض التشغيل مثل تعيين الطاقم، وتحليل ربحية المسار، وبرنامج المسافر الدائم promoالأمور، الخ.

الخدمات المصرفية:

ويستخدم على نطاق واسع في القطاع المصرفي لإدارة الموارد المتاحة على المكتب بشكل فعال. يستخدم عدد قليل من البنوك أيضًا أبحاث السوق وتحليل أداء المنتج والعمليات.

الرعاية الصحية:

يستخدم قطاع الرعاية الصحية أيضًا مستودع البيانات لوضع الاستراتيجيات والتنبؤ بالنتائج، وإنشاء تقارير علاج المرضى، ومشاركة البيانات مع شركات التأمين المرتبطة، وخدمات المساعدة الطبية، وما إلى ذلك.

القطاع العام:

في القطاع العام، يتم استخدام مستودع البيانات لجمع المعلومات الاستخبارية. فهو يساعد الوكالات الحكومية على الحفاظ على السجلات الضريبية وتحليلها، وسجلات السياسة الصحية، لكل فرد.

قطاع الاستثمار والتأمين:

في هذا القطاع، تُستخدم المستودعات بشكل أساسي لتحليل أنماط البيانات واتجاهات العملاء وتتبع تحركات السوق.

الاحتفاظ بالسلسلة:

في سلاسل البيع بالتجزئة، يُستخدم مستودع البيانات على نطاق واسع للتوزيع والتسويق. كما أنه يساعد على تتبع العناصر ونمط شراء العملاء، promoوتستخدم أيضًا لتحديد سياسة التسعير.

اتصالات:

يتم استخدام مستودع البيانات في هذا القطاع للمنتج promoاتخاذ قرارات البيع واتخاذ قرارات التوزيع.

صناعة الضيافة:

تستخدم هذه الصناعة خدمات المستودعات لتصميم وتقدير إعلاناتها و promoالحملات التي يريدون استهداف العملاء فيها بناءً على تعليقاتهم وأنماط سفرهم.

خطوات تنفيذ مستودع البيانات

أفضل طريقة لمعالجة مخاطر الأعمال المرتبطة بتنفيذ مستودع البيانات هي استخدام استراتيجية ثلاثية المحاور على النحو التالي

  1. استراتيجية المؤسسة: هنا نتعرف على التقنية بما فيها الحالية archiالتكنولوجيا والأدوات. ونحدد أيضًا الحقائق والأبعاد والسمات. يتم أيضًا تمرير تعيين البيانات وتحويلها.
  2. التسليم على مراحل: يجب أن يتم تنفيذ مستودع البيانات على مراحل بناءً على المجالات الموضوعية. الكيانات التجارية ذات الصلة مثل الحجز و billوينبغي تنفيذها أولا ومن ثم دمجها مع بعضها البعض.
  3. النماذج الأولية التكرارية: بدلاً من اتباع نهج كبير في التنفيذ، يجب تطوير مستودع البيانات واختباره بشكل متكرر.

فيما يلي الخطوات الأساسية في تنفيذ Datawarehouse بالإضافة إلى مخرجاته.

خطوة المهام التسليمات
1 ضرورة تحديد نطاق المشروع تعريف نطاق
2 الحاجة إلى تحديد احتياجات العمل نموذج البيانات المنطقية
3 تحديد متطلبات مخزن البيانات التشغيلية نموذج مخزن البيانات التشغيلية
4 الحصول على أدوات الاستخراج أو تطويرها استخراج الأدوات والبرامج
5 تحديد متطلبات بيانات مستودع البيانات نموذج البيانات الانتقالية
6 توثيق البيانات المفقودة للقيام بقائمة المشاريع
7 تعيين مخزن البيانات التشغيلية إلى مستودع البيانات خريطة تكامل البيانات D/W
8 تطوير تصميم قاعدة بيانات مستودع البيانات تصميم قاعدة بيانات D/W
9 استخراج البيانات من مخزن البيانات التشغيلية مقتطفات بيانات D/W المتكاملة
10 تحميل مستودع البيانات تحميل البيانات الأولية
11 الحفاظ على مستودع البيانات الوصول المستمر للبيانات والأحمال اللاحقة

أفضل الممارسات لتنفيذ مستودع البيانات

  • حدد خطة لاختبار مدى اتساق البيانات ودقتها وسلامتها.
  • يجب أن يكون مستودع البيانات متكاملاً بشكل جيد ومحددًا جيدًا ومختومًا بالوقت.
  • أثناء تصميم Datawarehouse، تأكد من استخدام الأداة الصحيحة، والالتزام بدورة الحياة، والاهتمام بتعارضات البيانات، والاستعداد لتعلم أنك أخطائك.
  • لا تستبدل أبدًا أنظمة التشغيل والتقارير
  • لا تقضي الكثير من الوقت في استخراج البيانات وتنظيفها وتحميلها.
  • تأكد من إشراك جميع أصحاب المصلحة بما في ذلك موظفي الأعمال في عملية تنفيذ مستودع البيانات. إثبات أن تخزين البيانات هو مشروع مشترك/فريق. لا ترغب في إنشاء مستودع بيانات غير مفيد للمستخدمين النهائيين.
  • إعداد خطة تدريب للمستخدمين النهائيين.

لماذا نحتاج إلى مستودع البيانات؟ إيجابيات - سلبيات

مزايا مستودع البيانات (DWH):

  • يسمح مستودع البيانات لمستخدمي الأعمال بالوصول بسرعة إلى البيانات المهمة من بعض المصادر، وكل ذلك في مكان واحد.
  • يوفر مستودع البيانات معلومات متسقة حول مختلف الأنشطة متعددة الوظائف. كما أنه يدعم التقارير المخصصة والاستعلام.
  • يساعد مستودع البيانات على دمج العديد من مصادر البيانات لتقليل الضغط على نظام الإنتاج.
  • يساعد مستودع البيانات على تقليل الوقت الإجمالي للتحليل وإعداد التقارير.
  • تعمل إعادة الهيكلة والتكامل على تسهيل استخدام المستخدم لإعداد التقارير والتحليل.
  • يتيح مستودع البيانات للمستخدمين الوصول إلى البيانات الهامة من عدد من المصادر في مكان واحد. ولذلك، فإنه يوفر وقت المستخدم في استرداد البيانات من مصادر متعددة.
  • يقوم مستودع البيانات بتخزين كمية كبيرة من البيانات التاريخية. يساعد ذلك المستخدمين على تحليل الفترات الزمنية والاتجاهات المختلفة لعمل تنبؤات مستقبلية.

عيوب مستودع البيانات:

  • ليس خيارًا مثاليًا للبيانات غير المنظمة.
  • من المؤكد أن إنشاء مستودع البيانات وتنفيذه هو أمر مربك للوقت.
  • يمكن أن يصبح مستودع البيانات قديمًا بسرعة نسبيًا
  • من الصعب إجراء تغييرات في أنواع البيانات ونطاقاتها ومخطط مصدر البيانات والفهارس والاستعلامات.
  • قد يبدو مستودع البيانات سهلاً، ولكنه في الواقع أمر سهل للغايةplex للمستخدمين العاديين.
  • على الرغم من أفضل الجهود المبذولة في إدارة المشروع، فإن نطاق مشروع تخزين البيانات سيزداد دائمًا.
  • في وقت ما، سيقوم مستخدمو المستودعات بتطوير قواعد عمل مختلفة.
  • تحتاج المنظمات إلى إنفاق الكثير من مواردها لأغراض التدريب والتنفيذ.

مستقبل تخزين البيانات

  • تغيير في القيود التنظيمية قد يحد من القدرة على الجمع بين مصدر البيانات المتباينة. قد تتضمن هذه المصادر المتباينة بيانات غير منظمة يصعب تخزينها.
  • كما المقاسات مع نمو قواعد البيانات، تستمر تقديرات ما يشكل قاعدة بيانات كبيرة جدًا في النمو. إنه كومplex لبناء وتشغيل أنظمة مستودعات البيانات التي يتزايد حجمها دائمًا. إن موارد الأجهزة والبرامج المتوفرة اليوم لا تسمح بالاحتفاظ بكمية كبيرة من البيانات عبر الإنترنت.
  • بيانات الوسائط المتعددة لا يمكن معالجتها بسهولة كبيانات نصية، في حين يمكن استرجاع المعلومات النصية بواسطة البرامج العلائقية المتاحة اليوم. يمكن أن يكون هذا موضوع بحث.

أدوات مستودع البيانات

هناك العديد من أدوات تخزين البيانات المتوفرة في السوق. وإليكم بعض أبرزها:

1. مارك لوجيك:

يعد MarkLogic حلاً مفيدًا لتخزين البيانات يجعل تكامل البيانات أسهل وأسرع باستخدام مجموعة من ميزات المؤسسة. هذه الأداة تساعد على أداء كوم للغايةplex عمليات البحث. يمكنه الاستعلام عن أنواع مختلفة من البيانات مثل المستندات والعلاقات والبيانات التعريفية.

https://www.marklogic.com/product/getting-started/

2. Oracle:

Oracle هي قاعدة البيانات الرائدة في الصناعة. إنه يوفر نطاقًا واسعًا من خيارات حلول مستودعات البيانات سواء في مقر العمل أو في السحابة. فهو يساعد على تحسين تجارب العملاء من خلال زيادة الكفاءة التشغيلية.

https://www.oracle.com/index.html

3. Amazon التحول الأحمر:

Amazon Redshift هي أداة مستودع البيانات. إنها أداة بسيطة وفعالة من حيث التكلفة لتحليل جميع أنواع البيانات باستخدام المعيار SQL وأدوات ذكاء الأعمال الموجودة. كما يسمح بتشغيل complex استعلامات مقابل بيتابايت من البيانات المنظمة، باستخدام تقنية تحسين الاستعلام.

https://aws.amazon.com/redshift/?nc2=h_m1

هنا قائمة كاملة من مفيدة أدوات مستودع البيانات.

مفتاح التعلم

  • يُعرف مستودع البيانات (DWH) أيضًا باسم مستودع بيانات المؤسسة (EDW).
  • يتم تعريف مستودع البيانات على أنه مستودع مركزي حيث تأتي المعلومات من مصدر بيانات واحد أو أكثر.
  • ثلاثة أنواع رئيسية من مستودعات البيانات هي مستودع بيانات المؤسسة (EDW)، ومخزن البيانات التشغيلية، وData Mart.
  • الحالة العامة لمستودع البيانات هي قاعدة البيانات التشغيلية غير المتصلة بالإنترنت، ومستودع البيانات غير المتصلة بالإنترنت، ومستودع البيانات في الوقت الفعلي، ومستودع البيانات المتكامل.
  • أربعة مكونات رئيسية لمستودع البيانات هي مدير التحميل، ومدير المستودع، ومدير الاستعلام، وأدوات وصول المستخدم النهائي
  • يتم استخدام مستودع البيانات في صناعات متنوعة مثل شركات الطيران والخدمات المصرفية والرعاية الصحية والتأمين وتجارة التجزئة وما إلى ذلك.
  • إن تنفيذ Datawarehosue هو استراتيجية ذات ثلاثة محاور viz. استراتيجية المؤسسة والتسليم المرحلي والنماذج الأولية التكرارية.
  • يسمح مستودع البيانات لمستخدمي الأعمال بالوصول بسرعة إلى البيانات المهمة من بعض المصادر، وكل ذلك في مكان واحد.