ما هو بحيرة البيانات؟ تعريفها، Archiأفضل الممارسات في مجال الهندسة المعمارية
فريق التحرير
⚡ ملخص ذكي
تخزن بنية بحيرة البيانات البيانات المهيكلة وشبه المهيكلة وغير المهيكلة بتنسيقها الأصلي ضمن تصميم مسطح. ويحصل كل عنصر على مُعرّف فريد وعلامات بيانات وصفية، مما يسمح بالتحليل دون الحاجة إلى مخطط مؤسسي مُحدد مسبقًا.
ما هي بحيرة البيانات؟
بحيرة البيانات عبارة عن مستودع تخزين يمكنه تخزين كمية كبيرة من البيانات المنظمة وشبه المنظمة وغير المنظمة. إنه مكان لتخزين كل نوع من البيانات بتنسيقها الأصلي بدون حدود ثابتة على حجم الحساب أو الملف. يوفر كمية بيانات عالية لزيادة الأداء التحليلي والتكامل الأصلي.
بحيرة البيانات هي بمثابة حاوية كبيرة تشبه إلى حد كبير البحيرات والأنهار الحقيقية. فكما هو الحال في البحيرة، هناك روافد متعددة تتدفق عبرها، وتحتوي بحيرة البيانات على بيانات منظمة وبيانات غير منظمة، وبيانات من آلة إلى آلة، وسجلات تتدفق في الوقت الفعلي.
كما يوضح الرسم التوضيحي أعلاه، تغذي العديد من مصادر البيانات المنفصلة قاعدة بيانات واحدة مخزنة. تُسهّل بحيرة البيانات الوصول إلى البيانات وتُعدّ وسيلة فعّالة من حيث التكلفة لتخزين جميع بيانات المؤسسة لمعالجتها لاحقًا. وبذلك، يستطيع محلل الأبحاث التركيز على استخلاص الأنماط الدلالية من البيانات بدلًا من التركيز على البيانات نفسها.
على عكس التسلسل الهرمي مستودع البيانات حيث يتم تخزين البيانات في الملفات والمجلدات، تتمتع بحيرة البيانات ببنية مسطحة. يتم منح كل عنصر بيانات في بحيرة البيانات معرفًا فريدًا ويتم تمييزه بمجموعة من معلومات البيانات الوصفية.
لماذا بحيرة البيانات؟
الهدف الرئيسي من بناء بحيرة البيانات هو تقديم رؤية غير مكررة للبيانات لعلماء البيانات.
أسباب استخدام Data Lake هي:
- مع ظهور محركات التخزين مثل Hadoop أصبح تخزين المعلومات المتباينة أمرًا سهلاً. ليست هناك حاجة لنمذجة البيانات في مخطط على مستوى المؤسسة باستخدام Data Lake.
- ومع زيادة حجم البيانات، وجودة البيانات، والبيانات الوصفية، تزداد جودة التحليلات أيضًا.
- تقدم Data Lake مرونة الأعمال
- تعلم آلة ويمكن استخدام الذكاء الاصطناعي لإجراء تنبؤات مربحة.
- يوفر ميزة تنافسية للمنظمة المنفذة.
- لا يوجد هيكل صومعة البيانات. توفر Data Lake رؤية 360 درجة للعملاء وتجعل التحليل أكثر قوة.
بحيرة البيانات Architecture
يوضح الشكل بنية بحيرة بيانات الأعمال. تمثل المستويات الأدنى البيانات التي تكون في الغالب في وضع السكون بينما تعرض المستويات العليا بيانات المعاملات في الوقت الفعلي. تتدفق هذه البيانات عبر النظام بدون تأخير أو بتأخير ضئيل. فيما يلي المستويات المهمة في بحيرة البيانات Archiالبنية:
- طبقة الاستيعاب: الطبقات الموجودة على الجانب الأيسر تصور مصادر البيانات. ويمكن تحميل البيانات إلى بحيرة البيانات على دفعات أو في الوقت الفعلي
- طبقة الرؤى: تمثل المستويات الموجودة على اليمين الجانب البحثي حيث يتم استخدام الرؤى من النظام. SQLيمكن استخدام استعلامات NoSQL أو حتى Excel لتحليل البيانات.
- HDFS هو حل فعال من حيث التكلفة لكل من البيانات المنظمة وغير المنظمة. إنها منطقة هبوط لجميع البيانات الموجودة في النظام.
- طبقة التقطير يأخذ البيانات من طبقة التخزين ويحولها إلى بيانات منظمة لتسهيل تحليلها.
- طبقة المعالجة تشغيل خوارزميات تحليلية واستعلامات المستخدمين مع متغيرات الوقت الحقيقي والتفاعلية والدفعات لتوليد بيانات منظمة لتحليل أسهل.
- طبقة العمليات الموحدة يحكم إدارة النظام ومراقبته. ويشمل التدقيق وإدارة الكفاءة، وإدارة البيانات، إدارة تتابع الأعمال.
بحيرة البيانات الرئيسية Concepts
فيما يلي مفاهيم بحيرة البيانات الرئيسية التي يحتاج المرء إلى فهمها لفهم بحيرة البيانات بشكل كامل Architecture
استيعاب البيانات
يسمح استيعاب البيانات للموصلات بالحصول على البيانات من مصادر بيانات مختلفة وتحميلها في بحيرة البيانات.
يدعم استيعاب البيانات:
- جميع أنواع البيانات المنظمة وشبه المنظمة وغير المنظمة.
- عمليات استيعاب متعددة مثل التحميل دفعة واحدة وفي الوقت الفعلي والتحميل لمرة واحدة.
- هناك العديد من أنواع مصادر البيانات مثل قواعد البيانات وخوادم الويب والبريد الإلكتروني، إنترنت الأشياءو بروتوكول نقل الملفات.
مخزن البيانات
يجب أن يكون تخزين البيانات قابلاً للتطوير، ويوفر تخزينًا فعالاً من حيث التكلفة ويسمح بالوصول السريع إلى استكشاف البيانات. يجب أن يدعم تنسيقات البيانات المختلفة.
حوكمة البيانات
حوكمة البيانات هي عملية إدارة مدى توفر البيانات المستخدمة في المؤسسة وسهولة استخدامها وأمانها وسلامتها.
الأمن والحماية
يجب تنفيذ الأمان في كل طبقة من طبقات بحيرة البيانات. يبدأ بالتخزين والاكتشاف والاستهلاك. الحاجة الأساسية هي إيقاف الوصول للمستخدمين غير المصرح لهم. يجب أن يدعم أدوات مختلفة للوصول إلى البيانات من خلال واجهة المستخدم الرسومية ولوحات المعلومات سهلة التنقل.
تعد المصادقة والمحاسبة والترخيص وحماية البيانات من الميزات المهمة لأمن بحيرة البيانات.
جودة البيانات
تُعدّ جودة البيانات عنصرًا أساسيًا في بنية بحيرة البيانات. تُستخدم البيانات لتحقيق قيمة تجارية ملموسة. مثال:tracإن استخلاص الرؤى من بيانات رديئة الجودة سيؤدي إلى رؤى رديئة الجودة.
اكتشاف البيانات
يعد اكتشاف البيانات مرحلة مهمة أخرى قبل أن تتمكن من البدء في إعداد البيانات أو التحليل. في هذه المرحلة، يتم استخدام تقنية وضع العلامات للتعبير عن فهم البيانات، من خلال تنظيم وتفسير البيانات التي يتم استيعابها في بحيرة البيانات.
تدقيق البيانات
مهمتان رئيسيتان في تدقيق البيانات هما: tracتغييرات الملك على مجموعة البيانات الرئيسية.
- Tracking تغييرات في عناصر مجموعة البيانات المهمة
- يلتقط كيف/متى/ومن يتغير إلى هذه العناصر.
يساعد تدقيق البيانات على تقييم المخاطر والامتثال.
نسب البيانات
يتناول هذا المكون مصادر البيانات، ويركز بشكل أساسي على مسارها عبر الزمن وما يحدث لها. كما يُسهّل تصحيح الأخطاء في عملية تحليل البيانات من المصدر إلى الوجهة.
استكشاف البيانات
إنها المرحلة الأولى لتحليل البيانات. يساعد على تحديد مجموعة البيانات الصحيحة أمر حيوي قبل البدء في استكشاف البيانات.
تحتاج جميع المكونات المحددة إلى العمل معًا لتلعب دورًا مهمًا في بناء بحيرة البيانات التي تتطور بسهولة وتستكشف البيئة.
منصات بحيرات البيانات الشائعة
عادةً ما يتم تجميع الطبقات المذكورة أعلاه من خدمات سحابية مُدارة بدلاً من بنائها من الصفر. وتغطي المنصات أدناه طبقات التخزين والفهرسة التي تبدأ بها معظم التطبيقات.
- Amazon S3 مع AWS Lake Formation: تخزين الكائنات مقترن بخدمة تسجل المصادر، وتحدد الأذونات، وتبني فهرس البيانات. انظر برنامج تعليمي حول AWS من أجل النظام البيئي الأوسع.
- Azure تخزين بحيرة البيانات من الجيل الثاني: يضيف مساحة اسم هرمية فوق تخزين الكائنات الثنائية الكبيرة، مما يوفر أمانًا على مستوى الدليل ووصولًا أسرع إلى التحليلات.
- Google Cloud التخزين مع بيج ليك: يجمع بين تخزين الكائنات وطبقة استعلام تقرأ تنسيقات الجداول المفتوحة مباشرة.
- أباتشي هادوب مع نظام ملفات هادوب الموزع (HDFS): الخيار الأصلي الموجود في الموقع، والذي لا يزال يستخدم حيث يجب أن تبقى البيانات داخل مركز بيانات خاص.
- داتابريكس وسنوفليك: المنصات التي تُرتّب تنسيقات الجداول مثل Delta يتم استخدام Lake و Apache Iceberg لتخزين الكائنات لإضافة المعاملات والتحكم في الإصدارات.
عادةً ما يتم اختيار مزود الخدمة السحابية الذي تستخدمه المؤسسة بالفعل، وذلك بسبب عملية استيعاب البيانات و أدوات ذكاء الأعمال الاندماج بأقل تكلفة داخل نظام بيئي واحد.
مراحل نضج بحيرة البيانات
يختلف تعريف مراحل نضج بحيرة البيانات من كتاب مدرسي إلى آخر. على الرغم من أن النقطة الأساسية تظل كما هي. بعد النضج، يتم تعريف المرحلة من وجهة نظر عامة.
المرحلة 1: التعامل مع البيانات واستيعابها على نطاق واسع
تتضمن هذه المرحلة الأولى من نضج البيانات تحسين القدرة على تحويل البيانات وتحليلها. هنا، يحتاج أصحاب الأعمال إلى العثور على الأدوات وفقًا لمجموعة مهاراتهم للحصول على المزيد من البيانات وبناء التطبيقات التحليلية.
المرحلة الثانية: بناء العضلة التحليلية
هذه هي المرحلة الثانية التي تنطوي على تحسين القدرة على تحويل البيانات وتحليلها. في هذه المرحلة، تستخدم الشركات الأداة الأكثر ملاءمة لمهاراتها. يبدأون في الحصول على المزيد من البيانات وبناء التطبيقات. هنا، يتم استخدام إمكانات مستودع بيانات المؤسسة وبحيرة البيانات معًا.
المرحلة 3: تعمل EDW وData Lake في انسجام تام
تتضمن هذه الخطوة وضع البيانات والتحليلات في أيدي أكبر عدد ممكن من الأشخاص. في هذه المرحلة، تبدأ بحيرة البيانات ومستودع بيانات المؤسسة في العمل في اتحاد. كلاهما يلعبان دورهما في التحليلات
المرحلة 4: القدرة المؤسسية في البحيرة
في هذه المرحلة من نضج بحيرة البيانات، تُضاف إليها إمكانيات المؤسسة، مثل تبني حوكمة المعلومات، وإدارة دورة حياة المعلومات، وإدارة البيانات. مع ذلك، لا تزال قلة من المؤسسات قادرة على بلوغ هذا المستوى من النضج، لكن من المتوقع أن يرتفع هذا العدد في المستقبل.
أفضل الممارسات لتنفيذ Data Lake
- Archiيجب أن تدعم المكونات التقنية وتفاعلها والمنتجات المحددة أنواع البيانات الأصلية
- يجب أن يكون تصميم Data Lake مدفوعًا بما هو متاح بدلاً من ما هو مطلوب. لم يتم تعريف متطلبات المخطط والبيانات حتى يتم الاستعلام عنها
- يجب أن يسترشد التصميم بمكونات يمكن التخلص منها ومتكاملة مع واجهة برمجة تطبيقات الخدمة.
- يجب إدارة اكتشاف البيانات واستيعابها وتخزينها وإدارتها وجودتها وتحويلها وتصورها بشكل مستقل.
- يجب أن تكون بنية بحيرة البيانات مصممة خصيصًا لصناعة معينة. ويجب أن تضمن أن القدرات اللازمة لهذا المجال تشكل جزءًا لا يتجزأ من التصميم
- يعد استيعاب مصادر البيانات المكتشفة حديثًا بشكل أسرع أمرًا مهمًا
- تساعد بحيرة البيانات في إدارة مخصصة لـtracالقيمة القصوى
- يجب أن تدعم Data Lake تقنيات وأساليب إدارة بيانات المؤسسة الحالية
تحديات بناء بحيرة البيانات:
- في Data Lake، يكون حجم البيانات أكبر، لذا يجب أن تكون العملية أكثر اعتمادًا على الإدارة البرمجية
- من الصعب التعامل مع البيانات المتفرقة وغير الكاملة والمتقلبة
- يحتاج النطاق الأوسع لمجموعة البيانات والمصدر إلى إدارة ودعم أكبر للبيانات
⚠️ تحذير: تتحول البحيرة التي تفتقر إلى بيانات وصفية مُفهرسة وقواعد وصول مُطبقة إلى مستنقع بيانات. فالبيانات موجودة، لكن لا أحد يستطيع العثور عليها أو الوثوق بها أو إثبات من قام بتغييرها. لذا، تُعدّ الحوكمة شرطًا أساسيًا للانطلاق، وليست مرحلة لاحقة.
الفرق بين بحيرات البيانات ومستودع البيانات
تُلخص المقارنة التالية موقع كل متجر. يتوفر تحليل أكثر تفصيلاً في بحيرة البيانات مقابل مستودع البيانات مقارنة.
| المعاملات | بحيرات البيانات | مستودع البيانات |
|---|---|---|
| البيانات | تقوم بحيرات البيانات بتخزين كل شيء. | يركز مستودع البيانات فقط على العمليات التجارية. |
| اﻟﻤﻌﺎﻟﺠﺔ | البيانات غير معالجة بشكل رئيسي | البيانات المعالجة للغاية. |
| نوع البيانات | يمكن أن تكون غير منظمة وشبه منظمة ومهيكلة. | هو في الغالب في شكل جدول وهيكل. |
| مهمة | مشاركة إدارة البيانات | الأمثل لاسترجاع البيانات |
| رشاقة | مرن للغاية، قم بتكوينه وإعادة تكوينه حسب الحاجة. | بالمقارنة مع Data Lake، فهي أقل مرونة ولديها تكوين ثابت. |
| المستخدمين | يتم استخدام Data Lake في الغالب بواسطة Data Scientist | يستخدم محترفو الأعمال مستودع البيانات على نطاق واسع |
| التخزين | تصميم بحيرات البيانات للتخزين منخفض التكلفة. | يتم استخدام وحدات تخزين باهظة الثمن توفر أوقات استجابة سريعة |
| الأمن والحماية | يوفر تحكمًا أقل. | يسمح بتحكم أفضل في البيانات. |
| استبدال EDW | يمكن أن تكون بحيرة البيانات مصدرًا لـ EDW | مكمل لـ EDW (وليس بديلاً) |
| مخطط | مخطط القراءة (لا توجد مخططات محددة مسبقًا) | مخطط عند الكتابة (مخططات محددة مسبقًا) |
| معالجة المعلومات | يساعد على الاستيعاب السريع للبيانات الجديدة. | يستغرق وقتًا طويلاً لتقديم محتوى جديد. |
| دقة البيانات | البيانات على مستوى منخفض من التفاصيل أو التفاصيل. | البيانات على مستوى التفاصيل الموجزة أو المجمعة. |
| الأدوات | يمكن استخدام أدوات/مصادر مفتوحة مثل Hadoop/ Map Reduce | أدوات تجارية في الغالب. |
ما هي بحيرة البيانات؟
يفترض التحليل أعلاه وجود نظامين منفصلين. أما مستودع البيانات فيدمجهما في نظام واحد، ولهذا السبب يظهر هذا المصطلح في معظم مناقشات هندسة الأنظمة الحالية.
يحتفظ منزل البحيرة بالملفات الخام في تخزين كائنات منخفض التكلفة، ثم يضيف طبقة بيانات وصفية للمعاملات من خلال تنسيقات الجداول المفتوحة مثل Delta بحيرة، أو أباتشي آيسبرغ، أو أباتشي هودي. توفر هذه الطبقة الضمانات التي يقدمها المستودع بينما تظل الملفات الأساسية مفتوحة.
| القدرات | بحيرة البيانات | داتا ليك هاوس |
|---|---|---|
| المعاملات | غير معتمد | معاملات ACID على الجداول |
| معالجة المخططات | مخطط البيانات للقراءة فقط | تطبيق المخطط وتطويره |
| المستخدمون الرئيسيون | علماء البيانات | المحللون وعلماء البيانات معًا |
| التقارير | بطيء بدون مستودع منفصل | الاستعلام المباشر مع الفهرسة والتخزين المؤقت |
بالنسبة للفرق التي تدير بالفعل بحيرة خاضعة للإدارة، فإن اعتماد تنسيق الجدول عادة ما يكون ترقية تدريجية بدلاً من إعادة بناء.
فوائد ومخاطر استخدام Data Lake
فيما يلي بعض الفوائد الرئيسية لاستخدام Data Lake:
- يساعد بشكل كامل في الإنتاج والتحليلات المتقدمة
- يوفر قابلية التوسع والمرونة فعالة من حيث التكلفة
- يقدم قيمة من أنواع بيانات غير محدودة
- يقلل من تكلفة الملكية على المدى الطويل
- يسمح بالتخزين الاقتصادي للملفات
- قابل للتكيف بسرعة مع التغييرات
- الميزة الرئيسية لبحيرة البيانات هي مركزية من مصادر المحتوى المختلفة
- يمكن أن يكون المستخدمون، من مختلف الإدارات، منتشرين في جميع أنحاء العالم وصول مرن إلى البيانات
مخاطر استخدام بحيرة البيانات:
- بعد مرور بعض الوقت، قد تفقد بحيرة البيانات أهميتها وزخمها
- هناك قدر أكبر من المخاطر التي ينطوي عليها تصميم Data Lake
- قد تؤدي البيانات غير المهيكلة إلى فوضى عارمة، وبيانات غير قابلة للاستخدام، وأدوات متباينة ومعقدة، وضعف التعاون على مستوى المؤسسة.
- كما أنه يزيد من تكاليف التخزين والحسابات
- لا توجد طريقة للحصول على رؤى من الآخرين الذين عملوا مع البيانات لأنه لا يوجد حساب لتسلسل النتائج من قبل المحللين السابقين
- الخطر الأكبر لبحيرات البيانات هو الأمن والتحكم في الوصول. في بعض الأحيان يمكن وضع البيانات في بحيرة دون أي إشراف، حيث قد تكون بعض البيانات ذات خصوصية وحاجة تنظيمية
