البرنامج التعليمي لاستخراج البيانات: ما هو استخراج البيانات؟ التقنيات والعملية

ما هو استخراج البيانات؟

تنقيب في البيانات هي عملية إيجاد أنماط مفيدة محتملة من مجموعات بيانات ضخمة. إنها مهارة متعددة التخصصات تستخدم آلة التعلم، والإحصاءات، والذكاء الاصطناعي على سبيل المثالtracتُستخدم المعلومات المُستقاة من التنقيب في البيانات لتقييم احتمالية وقوع الأحداث المستقبلية. وتُستخدم الرؤى المُستمدة من التنقيب في البيانات لأغراض التسويق، وكشف الاحتيال، والاكتشافات العلمية، وغيرها.

يُعنى التنقيب عن البيانات باكتشاف العلاقات الخفية وغير المتوقعة وغير المعروفة سابقًا، ولكنها صحيحة، بين البيانات. ويُطلق على التنقيب عن البيانات أيضًا اسم اكتشاف المعرفة في البيانات (KDD).tracالتحليل، وتحليل البيانات/الأنماط، وجمع المعلومات، وما إلى ذلك.

أنواع البيانات

يمكن إجراء استخراج البيانات على الأنواع التالية من البيانات

• قواعد البيانات العلائقية
• مستودعات البيانات
• قواعد البيانات المتقدمة ومستودعات المعلومات
• قواعد البيانات الموجهة للكائنات والكائنات العلائقية
• قواعد البيانات المعاملاتية والمكانية
• قواعد البيانات غير المتجانسة والقديمة
• الوسائط المتعددة وقاعدة بيانات التدفق
• قواعد البيانات النصية
• التعدين النص والتعدين على شبكة الإنترنت

بغض النظر عن المصدر، فإن نفس التسلسل المنضبط للمراحل يحول تلك البيانات الخام إلى نموذج قابل للاستخدام.

عملية تنفيذ استخراج البيانات

دعونا ندرس عملية تنفيذ استخراج البيانات بالتفصيل

فهم الأعمال

في هذه المرحلة، يتم تحديد أهداف الأعمال واستخراج البيانات.

• أولاً، عليك أن تفهم أهداف العمل والعملاء. تحتاج إلى تحديد ما يريده عميلك (والذي في كثير من الأحيان لا يعرفه هو نفسه)
• تقييم السيناريو الحالي لاستخراج البيانات. ضع في الاعتبار الموارد والافتراضات والقيود والعوامل المهمة الأخرى في تقييمك.
• باستخدام أهداف العمل والسيناريو الحالي، حدد أهداف استخراج البيانات الخاصة بك.
• إن خطة التنقيب عن البيانات الجيدة مفصلة للغاية ويجب تطويرها لتحقيق أهداف الأعمال واستخراج البيانات.

فهم البيانات

في هذه المرحلة، يتم إجراء فحص للتأكد من سلامة البيانات للتحقق مما إذا كانت مناسبة لأهداف استخراج البيانات.

• أولاً، يتم جمع البيانات من مصادر بيانات متعددة متاحة في المؤسسة.
• قد تشمل مصادر البيانات هذه قواعد بيانات متعددة، أو ملفات نصية، أو مكعبات بيانات. توجد مشكلات مثل مطابقة الكائنات وتكامل المخططات التي قد تظهر أثناء عملية تكامل البيانات. إنها عملية معقدة ودقيقة للغاية، إذ من غير المرجح أن تتطابق البيانات من مصادر مختلفة بسهولة. على سبيل المثال، يحتوي الجدول (أ) على كيان باسم cust_no، بينما يحتوي الجدول (ب) على كيان باسم cust-id.
• لذا، يصعب التأكد من أن كلا العنصرين المذكورين يشيران إلى القيمة نفسها. هنا، ينبغي استخدام بيانات ميتا لتقليل الأخطاء في عملية دمج البيانات.
• الخطوة التالية هي البحث عن خصائص البيانات المكتسبة. إحدى الطرق الجيدة لاستكشاف البيانات هي الإجابة على أسئلة استخراج البيانات (التي تم تحديدها في مرحلة العمل) باستخدام أدوات الاستعلام وإعداد التقارير والتصور.
• بناءً على نتائج الاستعلام، يجب التحقق من جودة البيانات. وينبغي الحصول على البيانات المفقودة إن وجدت.

إعداد البيانات

في هذه المرحلة، تصبح البيانات جاهزة للإنتاج.

عادةً ما تكون مرحلة إعداد البيانات هي الأطول، حيث يُشار إليها عادةً بنسبة 60% إلى 80% من إجمالي الجهد.

ينبغي اختيار البيانات من مصادر مختلفة وتنظيفها وتحويلها وتنسيقها وإخفاء هوية أصحابها وبنائها (إذا لزم الأمر).

تنظيف البيانات هو عملية "تنظيف" البيانات عن طريق تسهيل البيانات المزعجة وملء القيم المفقودة.

على سبيل المثال، بالنسبة للملف التعريفي الديموغرافي للعميل، فإن بيانات العمر مفقودة. البيانات غير كاملة ويجب ملؤها. في بعض الحالات، قد تكون هناك قيم متطرفة للبيانات. على سبيل المثال، العمر له قيمة 300. قد تكون البيانات غير متناسقة. على سبيل المثال، اسم العميل يختلف في الجداول المختلفة.

تُغيّر عمليات تحويل البيانات البيانات لجعلها مفيدة في استخراج البيانات. ويمكن تطبيق التحويلات التالية.

تحويل البيانات

إن عمليات تحويل البيانات من شأنها أن تساهم في نجاح عملية التعدين.

التنعيم: يساعد على إزالة الضوضاء من البيانات.

تجميع: يتم تطبيق عمليات التلخيص أو التجميع على البيانات. أي يتم تجميع بيانات المبيعات الأسبوعية لحساب الإجمالي الشهري والسنوي.

تعميم: في هذه الخطوة، يتم استبدال البيانات منخفضة المستوى بمفاهيم عالية المستوى باستخدام التسلسلات الهرمية للمفاهيم. على سبيل المثال، يتم استبدال المدينة بالولاية أو البلد.

تطبيع: تُجرى عملية التطبيع عند تكبير أو تصغير بيانات السمة. مثال: يجب أن تقع البيانات ضمن النطاق من -2.0 إلى 2.0 بعد التطبيع.

بناء السمة: يتم إنشاء هذه السمات وتضمينها في مجموعة السمات المعطاة المفيدة لاستخراج البيانات.

نتيجة هذه العملية هي مجموعة بيانات نهائية يمكن استخدامها في النمذجة.

تصميم

في هذه المرحلة، يتم استخدام النماذج الرياضية لتحديد أنماط البيانات.

• واستنادا إلى أهداف العمل، ينبغي اختيار تقنيات النمذجة المناسبة لمجموعة البيانات المعدة.
• قم بإنشاء سيناريو لاختبار التحقق من جودة وصلاحية النموذج.
• قم بتشغيل النموذج على مجموعة البيانات المعدة.
• وينبغي تقييم النتائج من قبل جميع أصحاب المصلحة للتأكد من أن هذا النموذج يمكن أن يلبي أهداف استخراج البيانات.

التقييم

في هذه المرحلة، يتم تقييم الأنماط المحددة مقابل أهداف العمل.

• يجب تقييم النتائج الناتجة عن نموذج استخراج البيانات مقابل أهداف العمل.
• إن اكتساب فهم الأعمال هو عملية متكررة. في الواقع، مع الفهم، قد تنشأ متطلبات عمل جديدة بسبب التنقيب في البيانات.
• يتم اتخاذ قرار الانتقال أو عدم الانتقال لتحريك النموذج في مرحلة النشر.

التنفيذ

في مرحلة النشر، يمكنك إرسال اكتشافات استخراج البيانات الخاصة بك إلى عمليات العمل اليومية.

• يجب أن تكون المعرفة أو المعلومات المكتشفة أثناء عملية استخراج البيانات سهلة الفهم لأصحاب المصلحة غير التقنيين.
• خطة نشر مفصلة، ​​للسفينةpingيتم إنشاء نظام لصيانة ومراقبة اكتشافات استخراج البيانات.
• يتم إنشاء تقرير المشروع النهائي مع الدروس المستفادة والخبرات الأساسية خلال المشروع. وهذا يساعد على تحسين سياسة عمل المنظمة.

تعتمد مرحلة النمذجة المذكورة أعلاه على مجموعة محددة من التقنيات، كل منها مناسب لنوع مختلف من الأسئلة.

تقنيات استخراج البيانات

1. تصنيف

يُستخدم هذا التحليل لاسترداد المعلومات المهمة وذات الصلة حول البيانات والبيانات الوصفية. تساعد طريقة استخراج البيانات هذه على تصنيف البيانات في فئات مختلفة.

2. Clusterجي

Clusterالتحليل هو أسلوب لاستخراج البيانات لتحديد البيانات المتشابهة. تساعد هذه العملية على فهم الاختلافات والتشابهات بين البيانات.

3. انحسار

تحليل الانحدار هو طريقة استخراج البيانات لتحديد وتحليل العلاقة بين المتغيرات. يتم استخدامه لتحديد احتمالية وجود متغير معين، نظرا لوجود متغيرات أخرى.

4. قواعد الرابطة

تساعد تقنية استخراج البيانات هذه في العثور على الارتباط بين عنصرين أو أكثر. يكتشف نمطًا مخفيًا في مجموعة البيانات.

5. اكتشاف القيم الشاذة

يشير هذا النوع من تقنيات استخراج البيانات إلى رصد عناصر البيانات في مجموعة البيانات التي لا تتطابق مع نمط أو سلوك متوقع. يمكن استخدام هذه التقنية في مجالات متنوعة، مثل كشف الاختراقات، والاحتيال، والأعطال، وغيرها. ويُطلق على كشف القيم الشاذة أيضًا اسم تحليل القيم الشاذة أو استخراج القيم الشاذة.

6. الأنماط المتسلسلة

تساعد تقنية استخراج البيانات هذه على اكتشاف أو تحديد أنماط أو اتجاهات مماثلة في بيانات المعاملات لفترة معينة.

7. تنبؤ

لقد استخدم التنبؤ مجموعة من التقنيات الأخرى لاستخراج البيانات مثل الاتجاهات والأنماط المتسلسلة والتجميع والتصنيف وما إلى ذلك. فهو يحلل الأحداث أو الحالات الماضية في تسلسل صحيح للتنبؤ بحدث مستقبلي.

Descriptالتنقيب عن البيانات المباشر مقابل التنقيب عن البيانات التنبؤي

تندرج التقنيات السبع المذكورة أعلاه ضمن مجموعتين، ومعرفة المجموعة التي ينتمي إليها السؤال تحدد كيفية قراءة النتيجة.

Descriptالتنقيب عن البيانات الحية يلخص ما حدث بالفعل. يبحث عن بنية داخل البيانات الموجودة دون أي هدف محدد، ولهذا السبب يُطلق عليه أحيانًا اسم "غير مُشرف عليه". Clusterتندرج هنا قواعد الربط والتسلسل والأنماط المتسلسلة. إن معرفة السوبر ماركت بأن الحفاضات والبيرة تُشترى معًا بشكل متكرر هو اكتشاف وصفي: فهو يفسر الماضي، ويقرر الإنسان ما يجب فعله حيال ذلك.

التنقيب التنبؤي عن البيانات يُقدّر هذا النظام ما سيحدث لاحقًا. ويتعلم من السجلات التاريخية حيث تكون الإجابة معروفة مسبقًا، ثم يُطبّق هذا التعلم على سجلات جديدة، ولذلك يُطلق عليه اسم "التعلم الخاضع للإشراف". ويندرج التصنيف والانحدار والتنبؤ ضمن هذا الإطار. ويُعدّ تقييم مُقدّم طلب القرض من حيث احتمالية أو عدم احتمالية التخلف عن السداد مؤشرًا تنبؤيًا.

ينتج عن هذا التمييز نتيجتان عمليتان.

• تختلف عملية التحقق: يمكن تقييم النموذج التنبؤي من حيث دقته مقارنةً بالنتائج المعروفة. أما النتيجة الوصفية فلا يمكن تقييمها بهذه الطريقة، لذا يُحكم عليها بناءً على مدى أهميتها وقابليتها للتطبيق.
• تختلف متطلبات البيانات: يحتاج العمل التنبؤي إلى عمود نتائج تاريخية مُصنّف. Descriptلا يفعل العمل المباشر ذلك، مما يجعله نقطة البداية المعتادة عندما تمتلك الشركة بيانات ولكن ليس لديها هدف واضح بعد.

تحديات تطبيق استخراج البيانات

• هناك حاجة إلى خبراء مهرة لصياغة استعلامات استخراج البيانات.
• التجهيز الزائد: نظرًا لصغر حجم قاعدة بيانات التدريب، قد لا يتناسب النموذج مع الحالات المستقبلية.
• يحتاج استخراج البيانات إلى قواعد بيانات كبيرة يصعب إدارتها في بعض الأحيان
• قد تحتاج الممارسات التجارية إلى تعديل لتحديد كيفية استخدام المعلومات التي تم الكشف عنها.
• إذا لم تكن مجموعة البيانات متنوعة، فقد لا تكون نتائج استخراج البيانات دقيقة.
• قد تكون المعلومات المتكاملة المطلوبة من قواعد البيانات غير المتجانسة وأنظمة المعلومات العالمية معقدة

أمثلة على استخراج البيانات

الآن في دورة التنقيب عن البيانات، دعونا نتعرف على التنقيب عن البيانات مع الأمثلة:

مثال 1:

لنفترض أن مدير التسويق في إحدى شركات الاتصالات يرغب في زيادة إيرادات خدمات الاتصالات بعيدة المدى. ولتحقيق عائد استثمار مرتفع على جهوده في المبيعات والتسويق، يُعدّ تحليل بيانات العملاء أمرًا بالغ الأهمية. يمتلك هذا المدير قاعدة بيانات ضخمة تضم معلومات عن العملاء، مثل العمر والجنس والدخل والتاريخ الائتماني، وغيرها. إلا أنه من المستحيل تحديد خصائص الأشخاص الذين يفضلون المكالمات بعيدة المدى من خلال التحليل اليدوي. باستخدام تقنيات استخراج البيانات، قد يتمكن من الكشف عن أنماط تربط بين مستخدمي المكالمات بعيدة المدى بكثرة وخصائصهم.

على سبيل المثال، قد يعلم أن أفضل عملائه هم النساء المتزوجات الذين تتراوح أعمارهم بين 45 و54 عامًا والذين يحصلون على أكثر من 80,000 ألف دولار سنويًا. يمكن أن تستهدف جهود التسويق هذه الديموغرافية.

مثال 2:

يرغب أحد البنوك في البحث عن طرق جديدة لزيادة إيراداته من عمليات بطاقات الائتمان. ويريد التحقق مما إذا كان استخدام هذه البطاقات سيتضاعف في حال خفض الرسوم إلى النصف.

يمتلك البنك سجلات بيانات لعدة سنوات حول متوسط ​​أرصدة بطاقات الائتمان، ومبالغ الدفع، واستخدام حدود الائتمان، وغيرها من المؤشرات الرئيسية. وقد أنشأ نموذجًا لتقييم أثر سياسة العمل الجديدة المقترحة. تُظهر نتائج البيانات أن خفض الرسوم إلى النصف لشريحة مستهدفة من العملاء قد يزيد الإيرادات بمقدار 10 ملايين دولار.

التنقيب عن البيانات مقابل التعلم الآلي

يتداخل المصطلحان بشكل كبير ويُستخدمان غالبًا بشكل متبادل، لكنهما يُجيبان على أسئلة مختلفة. يهدف استخراج البيانات إلى اكتشاف نمط لم يكن الشخص على دراية به سابقًا. بينما يهدف التعلّم الآلي إلى بناء نظام يُحسّن تنبؤاته مع ازدياد كمية البيانات المُتاحة.

نقطة اختلاف	تنقيب في البيانات	تعلم آلة
الهدف الرئيسي	اكتشف أنماطًا غير معروفة في البيانات الموجودة	قم ببناء نموذج يتنبأ بالبيانات الجديدة
المشاركة البشرية	يقوم المحلل بتفسير النتائج واتخاذ الإجراءات اللازمة بناءً عليها.	تقوم الخوارزمية بتطبيق القاعدة تلقائيًا
حجم البيانات	يعمل على مجموعة بيانات تاريخية محددة	يتحسن الوضع مع زيادة البيانات المتوفرة بمرور الوقت
الناتج النموذجي	قاعدة أو مجموعة أو ارتباط يمكن للشخص قراءته	نموذج مُدرَّب يُعيد درجة أو فئة
علاقة	تستخدم عمليات استخراج البيانات بشكل متكرر خوارزميات التعلم الآلي كمحرك لها

باختصار، يعد التعلم الآلي أحد الأدوات التي يعتمد عليها استخراج البيانات، ويمكن إجراء استخراج البيانات البسيط باستخدام الإحصاءات وحدها.

أدوات استخراج البيانات

فيما يلي 2 من أشهر أدوات استخراج البيانات تستخدم على نطاق واسع في الصناعة

لغة R:

اللغة R هي أداة مفتوحة المصدر للحوسبة الإحصائية والرسومات. لدى R مجموعة واسعة من الاختبارات الإحصائية الكلاسيكية وتحليل السلاسل الزمنية والتصنيف والتقنيات الرسومية. وهو يوفر وسيلة فعالة لتسليم البيانات وتخزينها.

انقر هنا لمعرفة المزيد

Oracle بيانات التعدين:

Oracle تنقيب في البيانات، والمعروفة شعبياً باسم ODM، هي وحدة نمطية من Oracle قاعدة بيانات التحليلات المتقدمة، ويتم تقديمها الآن كجزء من Oracle التعلم الآلي. تتيح هذه الأداة لاستخراج البيانات لمحللي البيانات استخلاص رؤى تفصيلية وإجراء تنبؤات. فهي تساعد في التنبؤ بسلوك العملاء، وتطوير ملفات تعريف العملاء، وتحديد فرص البيع المتبادل.

انقر هنا لمعرفة المزيد

فوائد استخراج البيانات

• تساعد تقنية استخراج البيانات الشركات في الحصول على معلومات قائمة على المعرفة.
• يساعد استخراج البيانات المؤسسات على إجراء التعديلات المربحة في التشغيل والإنتاج.
• يعد استخراج البيانات حلاً فعالاً من حيث التكلفة وفعالاً مقارنة بتطبيقات البيانات الإحصائية الأخرى.
• يساعد استخراج البيانات في عملية صنع القرار.
• يسهل التنبؤ الآلي للاتجاهات والسلوكيات بالإضافة إلى الاكتشاف الآلي للأنماط المخفية.
• يمكن تنفيذه في الأنظمة الجديدة بالإضافة إلى الأنظمة الأساسية الحالية
• إنها العملية السريعة التي تسهل على المستخدمين تحليل كمية هائلة من البيانات في وقت أقل.

عيوب التنقيب عن البيانات

• هناك خطر يتمثل في قيام الشركات ببيع معلومات مفيدة عن عملائها إلى منظمات أخرى، الأمر الذي يثير مخاوف كبيرة تتعلق بالخصوصية.
• من الصعب تشغيل العديد من برامج تحليلات استخراج البيانات وتتطلب تدريبًا متقدمًا للعمل عليها.
• تعمل أدوات التعدين المختلفة للبيانات بطرق مختلفة بسبب الخوارزميات المختلفة المستخدمة في تصميمها. لذلك، فإن اختيار أداة التعدين الصحيحة للبيانات يعد مهمة صعبة للغاية.
• تقنيات استخراج البيانات ليست دقيقة، وبالتالي يمكن أن تسبب عواقب وخيمة في ظروف معينة.

تطبيقات التنقيب عن البيانات

الاستخدامات	الأستعمال
مجال الاتصالات	تُستخدم تقنيات استخراج البيانات في قطاع الاتصالات للتنبؤ بسلوك العملاء بهدف تقديم حملات تسويقية عالية الاستهداف وذات صلة.
تأمين	يساعد استخراج البيانات شركات التأمين على تسعير منتجاتها بشكل مربح والترويج لعروض جديدة لعملائها الجدد أو الحاليين.
قطاع التعليم	يفيد استخراج البيانات المعلمين في الوصول إلى بيانات الطلاب والتنبؤ بمستويات الإنجاز والعثور على الطلاب أو مجموعات الطلاب الذين يحتاجون إلى مزيد من الاهتمام. على سبيل المثال، الطلاب الذين هم ضعفاء في مادة الرياضيات.
تصنيع	بفضل تقنيات استخراج البيانات، يستطيع المصنّعون التنبؤ بتآكل أصول الإنتاج، وتوقع أعمال الصيانة، مما يساعدهم على تقليل وقت التوقف عن العمل.
البنوك والمصارف	يساعد التنقيب في البيانات القطاع المالي في الحصول على رؤية لمخاطر السوق وإدارة الامتثال التنظيمي. فهو يساعد البنوك على تحديد المتعثرين المحتملين لاتخاذ قرار بشأن إصدار بطاقات الائتمان والقروض وما إلى ذلك.
خدمات البيع بالتجزئة	تساعد تقنيات استخراج البيانات مراكز التسوق ومتاجر البقالة على تحديد المنتجات الأكثر مبيعًا وعرضها في أفضل المواقع. كما تساعد أصحاب المتاجر على ابتكار عروض تشجع العملاء على زيادة إنفاقهم.
مقدمي الخدمات	يستخدم مزودو الخدمات مثل صناعة الهواتف المحمولة والمرافق العامة استخراج البيانات للتنبؤ بالأسباب التي تدفع العميل إلى ترك شركتهم. يقومون بتحليل تفاصيل الفواتير وتفاعلات خدمة العملاء والشكاوى المقدمة للشركة لتعيين درجة احتمالية لكل عميل وتقديم الحوافز.
التجارة الإلكترونية	تستخدم مواقع التجارة الإلكترونية "استخراج البيانات" لتقديم عمليات البيع المتقاطع والمبيعات الإضافية من خلال مواقعها الإلكترونية. ومن أشهر الأسماء هو Amazon، الذين يستخدمون تقنيات استخراج البيانات لجذب المزيد من العملاء إلى متجر التجارة الإلكترونية الخاص بهم.
سوبر ماركت	يُمكّن التنقيب عن البيانات محلات السوبر ماركت من وضع قواعد للتنبؤ باحتمالية حمل زبائنها. فمن خلال تحليل أنماط شرائهم، يمكنهم تحديد الزبائن الأكثر احتمالاً للحمل، وبالتالي استهداف منتجات معينة مثل بودرة الأطفال، وصابون الأطفال، وحفاضات الأطفال، وغيرها.
التحقيق الجنائي	يساعد التنقيب في البيانات وكالات التحقيق في الجرائم على نشر القوى العاملة في الشرطة (أين من المرجح أن تحدث الجريمة ومتى؟)، ومن يجب البحث عند المعبر الحدودي وما إلى ذلك.
المعلوماتية الحيوية	يساعد التنقيب في البيانات على استخراج البيانات البيولوجية من مجموعات البيانات الضخمة المجمعة في علم الأحياء والطب.

الأسئلة الشائعة