ما هي البيانات الضخمة؟ أنواعها وخصائصها وأمثلة عليها

قبل الخوض في مقدمة البيانات الضخمة، عليك أولاً أن تعرف ما هي البيانات نفسها.

ما هي البيانات؟

البيانات هي الكميات أو الأحرف أو الرموز التي تُجرى عليها العمليات بواسطة الحاسوب، والتي يمكن تخزينها و transmitيتم نقلها على شكل إشارات كهربائية وتسجيلها على وسائط تسجيل مغناطيسية أو بصرية أو ميكانيكية.

والآن، دعونا نلقي نظرة على تعريف البيانات الضخمة.

ما هي البيانات الضخمة؟

البيانات الكبيرة هي مجموعة بيانات ضخمة الحجم، تتزايد بشكلٍ هائل مع مرور الوقت. إنها بيانات ذات حجم وتعقيد كبيرين لدرجة أن أدوات إدارة البيانات التقليدية لا تستطيع تخزينها أو معالجتها بكفاءة. البيانات الضخمة هي بيانات في النهاية، لكن حجمها يتجاوز قدرة الأدوات المعتادة.

يوضح الرسم البياني أدناه هذا التعريف مقابل البيانات العادية التي تتعامل معها المؤسسة بالفعل، لذا فإن القفزة في الحجم سهلة الملاحظة.

ما هي البيانات الضخمة؟

ما هو مثال البيانات الضخمة؟

وفيما يلي بعض الأمثلة على البيانات الضخمة:

بيانات البورصة

استخدم بورصة نيويورك هو مثال على البيانات الضخمة التي تولد حوالي واحد تيرابايت من بيانات التجارة الجديدة يوميا.

وسائل التواصل الاجتماعي

وتظهر الإحصائية ذلك 500+ تيرابايت من البيانات الجديدة يتم استيعابها في قواعد بيانات مواقع التواصل الاجتماعي فيسبوك، كل يوم. يتم إنشاء هذه البيانات بشكل أساسي من حيث تحميل الصور والفيديو وتبادل الرسائل ووضع التعليقات وما إلى ذلك.

المحركات النفاثة

A واحد محرك نفاث يمكن أن تولد 10+ تيرابايت من البيانات في 30 دقائق من وقت الرحلة. مع عدة آلاف من الرحلات الجوية يوميًا، يصل توليد البيانات إلى الكثيرين بيتابايت.

تمثل هذه الأرقام الثلاثة لقطات من كل مصدر على حدة من الفترة التي نُشرت فيها الأمثلة لأول مرة، وقد ازدادت منذ ذلك الحين. ولإعطاء فكرة عن الحجم الحالي، فإن العالم ككل ينتج الآن ما يقارب 402 مليون تيرابايت من البيانات كل يوموبذلك يصل إجمالي عام 2026 إلى track لأكثر من 200 زيتابايت.

أنواع البيانات الضخمة

وفيما يلي أنواع البيانات الضخمة:

1. منظم
2. غير منظم
3. شبه منظم

منظم

تُسمى أي بيانات يمكن تخزينها والوصول إليها ومعالجتها بتنسيق ثابت بالبيانات "المنظمة". وقد حقق علم الحاسوب، بمرور الوقت، نجاحًا كبيرًا في تطويرping توجد تقنيات للتعامل مع هذا النوع من البيانات، حيث يكون تنسيقها معروفًا مسبقًا، واستخلاص القيمة منها. مع ذلك، نواجه الآن مشكلات عندما يتضخم حجم هذه البيانات بشكل هائل، حيث تصل أحجامها النموذجية إلى عدة زيتابايت.

هل تعرف؟ زيتابايت واحد هو 10²¹ بايت، والذي هو مليار تيرابايت.

بالنظر إلى هذه الأرقام، يمكن للمرء أن يفهم بسهولة سبب تسمية البيانات الضخمة بهذا الاسم، وأن يتخيل التحديات التي تنطوي عليها عملية تخزينها ومعالجتها.

هل تعرف؟ تُعد البيانات المخزنة في نظام إدارة قواعد البيانات العلائقية مثالاً على "منظم" البيانات.

أمثلة على البيانات المنظمة

يُعد جدول "الموظفين" في قاعدة البيانات مثالاً على البيانات المهيكلة. يحتوي كل صف على نفس الأعمدة الخمسة، ولكل عمود نوع بيانات معروف، وهذا تحديداً ما يجعل الاستعلام عن البيانات سهلاً.

غير منظم

تُصنّف أي بيانات ذات شكل أو بنية غير معروفة على أنها بيانات غير مُهيكلة. وبالإضافة إلى حجمها الهائل، تُشكّل البيانات غير المُهيكلة تحدياتٍ عديدة في معالجتها لاستخلاص القيمة منها. ومن الأمثلة الشائعة على البيانات غير المُهيكلة مصادر البيانات غير المتجانسة التي تحتوي على مزيج من ملفات نصية بسيطة وصور وفيديوهات، وما إلى ذلك. تمتلك المؤسسات اليوم ثروةً هائلة من البيانات، ولكنها للأسف لا تعرف كيفية استخلاص القيمة منها، لأن هذه البيانات تكون في صورتها الخام أو غير المُهيكلة.

أمثلة على البيانات غير المهيكلة

الناتج الذي تم إرجاعه بواسطة 'Google البحث غير منظم: نفس الاستعلام يُرجع صفحات وصور ومقتطفات وروابط بدون مخطط مشترك وراءها.

مثال على البيانات غير المهيكلة

شبه منظم

يمكن أن تحتوي البيانات شبه المهيكلة على كلا الشكلين المذكورين أعلاه. تبدو مهيكلة، لكنها غير محددة بمخطط رسمي مثل تعريف جدول في قاعدة بيانات علائقية. DBMSمن الأمثلة الشائعة على البيانات شبه المهيكلة البيانات المُمثلة في ملف XML. وتندرج مستندات JSON وخطوط السجلات التي تحتوي على أزواج مفتاح-قيمة ضمن الفئة نفسها.

أمثلة على البيانات شبه المهيكلة

البيانات الشخصية المخزنة في ملف XML-

<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec>
<rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec>
<rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec>
<rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec>
<rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>

نمو البيانات على مر السنين

الرسم البياني أدناه tracكيف تغير مزيج البيانات المنظمة وغير المنظمة مع ارتفاع الحجم الإجمالي.

نمو البيانات على مر السنين

يرجى ملاحظة أن تطبيق ويب تتكون البيانات غير المهيكلة من ملفات السجل وملفات تاريخ المعاملات وما إلى ذلك. تم تصميم أنظمة OLTP للعمل مع البيانات المهيكلة، حيث يتم تخزين البيانات في علاقات (جداول).

خصائص البيانات الضخمة

يمكن وصف البيانات الضخمة بالخصائص التالية:

• الصوت
• تشكيلة
• سرعة
• تقلب

(ط) الحجم - يرتبط مصطلح "البيانات الضخمة" بحجم هائل. ويلعب حجم البيانات دورًا بالغ الأهمية في تحديد القيمة التي يمكن استخلاصها منها. كما أن تصنيف مجموعة بيانات معينة ضمن فئة "البيانات الضخمة" يعتمد على حجمها. 'مقدار' هي إحدى الخصائص التي يجب مراعاتها أثناء التعامل مع حلول البيانات الضخمة.

(XNUMX) التنوع - الجانب التالي من البيانات الضخمة هو تشكيلة.

يشير التنوع إلى المصادر غير المتجانسة وطبيعة البيانات، سواء كانت منظمة أو غير منظمة. في الماضي، كانت جداول البيانات وقواعد البيانات المصادر الوحيدة للبيانات التي تعتمد عليها معظم التطبيقات. أما اليوم، فتُؤخذ في الاعتبار بيانات أخرى مثل رسائل البريد الإلكتروني، والصور، والفيديوهات، وأجهزة المراقبة، وملفات PDF، والملفات الصوتية، وغيرها، في تطبيقات التحليل. ويُثير هذا التنوع في البيانات غير المنظمة بعض التحديات في تخزينها واستخراجها وتحليلها.

(ثالثا) السرعة - على المدى 'سرعة' يشير ذلك إلى سرعة توليد البيانات. فمدى سرعة توليد البيانات ومعالجتها لتلبية الطلب يحدد الإمكانات الحقيقية الكامنة في البيانات.

تتناول سرعة البيانات الضخمة سرعة تدفق البيانات من مصادر مثل عمليات الأعمال، وسجلات التطبيقات، والشبكات، ومواقع التواصل الاجتماعي، وأجهزة الاستشعار. التليفون المحمول الأجهزة، وما إلى ذلك. تدفق البيانات هائل ومستمر.

(رابعا) التقلب - يشير هذا إلى عدم الاتساق الذي يمكن أن تظهره البيانات في بعض الأحيان، مما يعيق عملية القدرة على التعامل مع البيانات وإدارتها بشكل فعال.

تُضاف سمتان أخريان بشكل شائع إلى تلك القائمة اليوم، مما يُعطي ما يُعرف بـ "الخمسة V" التي يتم الاستشهاد بها على نطاق واسع:

• الإيذائية – مدى موثوقية البيانات ودقتها. فالسجلات المكررة، وانحرافات المستشعرات، والحقول المفقودة، كلها عوامل تقلل من مصداقية البيانات، ولا يمكن لأي حجم من البيانات أن يعوض ذلك.
• بعد التخفيض – ما هي القيمة الحقيقية للبيانات بعد تحليلها. البيانات التي لا تُستخدم في اتخاذ القرارات لا تُضيف سوى تكلفة التخزين.

مزايا معالجة البيانات الضخمة

تتيح القدرة على معالجة البيانات الضخمة في نظام إدارة قواعد البيانات فوائد متعددة، مثل:

يمكن للشركات الاستعانة بمعلومات خارجية عند اتخاذ القرارات

الوصول إلى البيانات الاجتماعية من محركات البحث وتتيح مواقع مثل فيسبوك وX (تويتر سابقًا) للمؤسسات تحسين استراتيجيات أعمالها.

تحسين خدمة العملاء

تُستبدل أنظمة استطلاع آراء العملاء التقليدية بأنظمة جديدة مصممة بتقنيات البيانات الضخمة. في هذه الأنظمة الجديدة، تُستخدم تقنيات البيانات الضخمة ومعالجة اللغة الطبيعية لقراءة وتقييم ردود فعل المستهلكين.

الكشف المبكر عن المخاطر التي تهدد المنتجات والخدمات

يؤدي إجراء التحليل بشكل مستمر على سجلات المعاملات وقراءات أجهزة الاستشعار وتذاكر الدعم إلى الكشف عن العيوب وأنماط الاحتيال وأعطال الخدمة بينما لا تزال صغيرة، بدلاً من انتظار تقرير شهري للكشف عنها.

أفضل Operaالكفاءة الوطنية

يمكن استخدام تقنيات البيانات الضخمة لإنشاء منطقة تخزين مؤقتة أو منطقة هبوط للبيانات الجديدة قبل تحديد ما يجب نقله إليها. مستودع البياناتبالإضافة إلى ذلك، فإن هذا التكامل بين تقنيات البيانات الضخمة ومستودع البيانات يساعد المؤسسة على التخلص من البيانات التي لا يتم الوصول إليها بشكل متكرر.

الأسئلة الشائعة