خوارزمية ساذجة بايز في التعلم الآلي

خوارزمية تصنيف بايز الساذجة

المصنف هو خوارزمية تعلم آلي تقوم بفرز البيانات إلى فئة واحدة أو أكثر من مجموعة "الفئات". ويُعد مصنف البريد الإلكتروني مثالاً مألوفاً: فهو يفحص كل رسالة واردة ويرفق بها تصنيفاً من نوع "بريد مزعج" أو "ليس بريداً مزعجاً".

يُعد مصنف بايز الساذج في مجال التعلم الآلي التعلم تحت إشراف الخوارزمية المستخدمة في مهام التصنيف.

يوضح الرسم البياني أدناه هذا التدفق.

يستخدم Naive Bayes لحل مشاكل التصنيف. ويتنبأ على أساس احتمال وجود كائن. يعتمد Naive Bayes على نظرية Bayes ويتم استخدامه لتصنيف النص في الغالب. Naive Bayes هي خوارزمية تصنيف احتمالية سهلة التنفيذ وسريعة التدريب.

بما أن مصنف بايز الساذج يعتمد على نظرية بايز، فإنه يُعرف أيضاً باسم مصنف الاحتمالات. وهو يتنبأ بناءً على احتمالية وجود عنصر ما.

لماذا يُطلق عليه اسم بايز الساذج؟

يتكون اسم "نايف بايز" من جزأين: "نايف" و"بايز". لماذا "نايف"؟ لأن الخوارزمية تتجاهل ترتيب ظهور السمات، لذا تبدو عبارتا "أنت" و"هل أنت" متطابقتين بالنسبة لها. كما تفترض أن لا سمة تؤثر على أخرى. وللتعرف على فاكهة التفاح، تستخدم لونها الأحمر وشكلها الكروي ومذاقها الحلو، وتتعامل الخوارزمية مع كل من هذه الدلائل كدليل منفصل ومستقل.

• يفترض مصنف بايز الساذج أن الميزات مستقلة عن بعضها البعض. ولأن هذا نادرًا ما يكون ممكنًا في البيانات الواقعية، يُطلق على هذا المصنف اسم الساذج.
• تعتمد خوارزمية التصنيف هذه على نظرية بايز، ولذلك فهي تُعرف باسم مصنف بايز الساذج.

نظرية بايز الساذجة

تُستخدم نظرية بايز لإيجاد احتمالية فرضية ما، حيث تعتمد الاحتمالات الشرطية على المعرفة المسبقة. سُميت هذه النظرية نسبةً إلى توماس بايز. ويعمل مصنف بايز الساذج على مبدأ الاحتمال الشرطي، كما هو مُبين في نظرية بايز.

لفهم نظرية بايز، دعونا ننظر إلى مثال بسيط لمصنف بايز الساذج لرمي عملتين معدنيتين. يمكننا الحصول على فضاءات العينة هذه برمي العملتين: {HH, HT, TH, TT}. لذا، ستكون احتمالات هذه الأحداث كما يلي:

• الحصول على رأسين = 1/4
• ذيل واحد على الأقل = 3/4
• العملة الثانية هي الرأس نظرًا لأن العملة الأولى هي الذيل = 1/2
• الحصول على رأسين بالنظر إلى العملة الأولى هو رأس = 1/2

تحسب نظرية بايز احتمال وقوع حدث ما بناءً على احتمال وقوع حدث آخر سبق وقوعه. صيغة نظرية بايز هي كالتالي:

P(A|B) = (P(B|A) * P(A)) / P(B)

P(A|B) هو احتمال وقوع الحدث A عندما يكون الحدث B قد وقع بالفعل. يجب ألا يكون احتمال P(B) صفرًا.

• أنت بحاجة إلى إيجاد احتمال وقوع الحدث A، والذي يُعطى عندما يكون الحدث B (الدليل) صحيحًا.
• يمثل P(A) الاحتمال المسبق للحدث A، أي احتمال وقوع الحدث قبل ملاحظة أي دليل. أما الحدث B، فهو قيمة حالة غير معروفة.
• P(A|B) هو الاحتمال اللاحق للحدث A، أي احتمال A بعد النظر في الدليل B.

مثال عملي لمصنف بايز الساذج

أسرع طريقة لرؤية فعالية الصيغة هي تشغيلها يدويًا.

لنأخذ مثالاً على متجرping لفهم آلية عمل مصنف بايز الساذج. تحتوي مجموعة البيانات هذه على عينة صغيرة مكونة من 30 صفًا لهذا المثال.

بيانات

تكمن المشكلة في التنبؤ بما إذا كان الشخص سيشتري منتجًا في مجموعة محددة من اليوم والخصم والتوصيل المجاني باستخدام نظرية Naive Bayes.

الخطوة 1) سنقوم بإنشاء جداول تكرارية لكل سمة باستخدام أنواع المدخلات المذكورة في مجموعة البيانات، مثل الأيام والخصم والتوصيل المجاني.

لنفترض أن الحدث "الشراء" يُرمز له بـ "أ"، والمتغيرات المستقلة هي "الخصم" و"التوصيل المجاني" و"اليوم"، ويُرمز لها بـ "ب". سنستخدم هذه الأحداث والمتغيرات لتطبيق نظرية بايز.

الخطوة 2) الآن دعونا نحسب جداول الاحتمال واحدا تلو الآخر.

مثال 1:

وبناء على جدول الاحتمالية هذا، سوف نقوم بحساب الاحتمالات الشرطية على النحو التالي.

P(A) = P(No Buy) = 6/30 = 0.2
P(B) = P(Weekday) = 11/30 = 0.37
P(B/A) = P(Weekday / No Buy) = 2/6 = 0.33

وأوجد P(A/B) باستخدام نظرية بايز،

P(A/B)
= P(No Buy / Weekday)
= P(Weekday / No Buy) * P(No Buy) / P(Weekday)
= (2/6 * 6/30) / (11/30)
= 0.1818

وبالمثل، إذا كان A هو شراء، إذن

= P(Buy / Weekday)
= P(Weekday / Buy) * P(Buy) / P(Weekday)
= (9/24 * 24/30) / (11/30)
= 0.8181

ملاحظة: نظرًا لأن P (شراء | يوم من أيام الأسبوع) أكبر من P (لا شراء | يوم من أيام الأسبوع)، يمكننا أن نستنتج أنه من المرجح أن يشتري العميل المنتج في أحد أيام الأسبوع.

الخطوة 3) وبالمثل، يمكننا حساب احتمالية وقوع حدث ما على أساس المتغيرات الثلاثة جميعها. سنقوم الآن بحساب جداول الاحتمالية للمتغيرات الثلاثة باستخدام الجداول التكرارية المذكورة أعلاه.

مثال 2:

الآن، باستخدام جداول الاحتمالية الثلاثة هذه، سنقوم بحساب ما إذا كان من المحتمل أن يقوم العميل بإجراء عملية شراء بناءً على مجموعة محددة من "اليوم" و"الخصم" و"التوصيل المجاني".

وهنا، دعونا نأخذ مجموعة من هذه العوامل:

• يوم = عطلة
• الخصم = نعم
• التوصيل مجاني = نعم

متى، أ = شراء

احسب الاحتمال الشرطي للشراء بناءً على التركيبة التالية: اليوم والخصم والتوصيل المجاني.

حيث ب هو:

• يوم = عطلة
• الخصم = نعم
• التوصيل مجاني = نعم

و= شراء

ولذلك،

= P(A/B)
= P(Buy / Discount=Yes, Day=Holiday, Free Delivery=Yes)
= ( P(Discount=(Yes/Buy)) * P(Free Delivery=(Yes/Buy)) * P(Day=(Holiday/Buy)) * P(Buy) )
/ ( P(Discount=Yes) * P(Free Delivery=Yes) * P(Day=Holiday) )
= (19/24 * 21/24 * 8/24 * 24/30) / (20/30 * 23/30 * 11/30)
= 0.986

عندما يكون A = لا شراء

وبالمثل، احسب الاحتمال الشرطي للشراء على أساس التركيبة التالية: اليوم والخصم والتوصيل المجاني.

حيث ب هو:

• يوم = عطلة
• الخصم = نعم
• التوصيل مجاني = نعم

و أ = لا شراء

ولذلك،

= P(A/B)
= P(No Buy / Discount=Yes, Day=Holiday, Free Delivery=Yes)
= ( P(Discount=(Yes/No Buy)) * P(Free Delivery=(Yes/No Buy)) * P(Day=(Holiday/No Buy)) * P(No Buy) )
/ ( P(Discount=Yes) * P(Free Delivery=Yes) * P(Day=Holiday) )
= (1/6 * 2/6 * 3/6 * 6/30) / (20/30 * 23/30 * 11/30)
= 0.027

الخطوة 4) بالتالي،

احتمال الشراء = 0.986

احتمال عدم الشراء = 0.027

وأخيرا، لدينا احتمالات مشروطة للشراء في هذا اليوم. دعونا الآن نعمم هذه الاحتمالات للحصول على احتمالية الأحداث.

• مجموع الاحتمالات = 0.986 + 0.027 = 1.013
• احتمالية الشراء = 0.986 / 1.013 = 97.33%
• احتمالية عدم الشراء = 0.027 / 1.013 = 2.67%

مجموع النتيجتين يساوي 1.013 بدلاً من 1 لأن افتراض الاستقلال يجعل كل تقدير تقريبيًا، لذا فإن القسمة على المجموع تعيد تحويلهما إلى نسب مئوية.

لاحظ أن 97.33% أكبر من 2.67%. يمكننا أن نستنتج أن العميل العادي سيشتري في عطلة بخصم وتوصيل مجاني.

أنواع نموذج بايز الساذج

هناك أنواع عديدة من مصنفات Naive Bayes. لقد ناقشنا هنا مصنفات متعددة الحدود، برنولي، وجاوسي ساذجة بايز.

1. بايز السذاجة المتعددة الحدود

يُستخدم هذا النوع من نموذج Naive Bayes لحل مشكلات تصنيف المستندات. وهو يعمل مع الميزات التي تمثل تكرار الكلمات في المستند. يأخذ المصنف في الاعتبار حدوث الكلمات وعددها لتحديد احتمالية انتماء المستند إلى فئة معينة، مثل الرياضة أو السياسة أو التكنولوجيا.

2. برنولي سايف بايز

هذا مشابه لـ Naive Bayes متعدد الحدود. يتم استخدام مصنف Bernoulli Naive Bayes لمهام تصنيف المستندات. ومع ذلك، فإنه يستخدم تنبؤات منطقية. إنه يمثل ما إذا كانت الكلمة موجودة أم لا ويأخذ فقط القيم نعم أو لا. يقوم المصنف بحساب الاحتمالات بناءً على ما إذا كانت الكلمة موجودة في النص أم لا.

3. غاوسي ساذج بايز

يتم استخدام هذا المصنف في حالة القيمة المستمرة ولكن ليس القيمة المنفصلة. يحسب هذا المصنف الاحتمالات باستخدام معلمات جاوس التوزيع، أي المتوسط ​​والتباين.

تتغير صيغة الاحتمال الشرطي إلى،

استخدم تعلم الحروف تضيف المكتبة نوعين آخرين: Complement Naive Bayes للنصوص غير المتوازنة وCategorical Naive Bayes للفئات المنفصلة.

فوائد وقيود مصنف Naive Bayes

هناك العديد من المزايا والعيوب لخوارزمية Naive Bayes في التعلم الآلي.

فوائد مصنف Naive Bayes

• البساطة والكفاءة: Naive Bayes بسيط وسهل التدريب والتنفيذ. أنها فعالة بسبب انخفاض التكلفة الحسابية. يمكنه التعامل مع مجموعات البيانات الكبيرة بكفاءة.
• التدريب السريع والتنبؤ: لا يتطلب نموذج بايز الساذج الكثير من بيانات التدريب نظرًا لاستقلالية الخصائص. ويمكنه التنبؤ بسرعة بمجرد تدريب النموذج.
• التدرجية: يمكن لـ Naive Bayes التعامل مع مجموعات البيانات عالية الأبعاد مع عدد كبير من الميزات. إنه يعمل بشكل جيد حتى عندما يكون عدد الميزات أكبر من عدد أمثلة التدريب. إنه يتدرج مع عدد نقاط البيانات والتنبؤات. يتعامل مع البيانات المستمرة والمنفصلة.
• المتانة للميزات غير ذات الصلة: إنها ليست حساسة للميزات غير ذات الصلة.
• تعمل بشكل جيد مع مجموعات التدريب الصغيرة: يمكن لخوارزمية بايز البسيطة أن تقدم نتائج معقولة حتى مع بيانات تدريب محدودة. فهي قادرة على التعامل مع الحالات التي يكون فيها عدد بيانات التدريب قليلاً.

حدود مصنف Naive Bayes

ساذج بايز في آلة التعلم يفترض أن جميع الميزات مستقلة عن بعضها البعض. لذلك، لا يمكنه تعلم العلاقات بين الميزات المختلفة في البيانات. يتعامل مع كل ميزة كما لو أنها لا علاقة لها بالآخرين.

تحذير ثانٍ: احتمالات الفئات التي يتم الإبلاغ عنها غير معايرة بشكل جيد، لذا فإن رقم الثقة المرفق بالتنبؤ ليس احتمالًا موثوقًا به.

للتغلب على هذه المشكلة يمكنك استخدام أشجار القرارالغابات العشوائية، آلات المتجهات الداعمة (SVM)، الشبكات العصبية إلخ. تتمتع هذه الخوارزميات بالقدرة على تعلم العلاقات والترابطات المعقدة بين خصائص البيانات، مما يُمكّنها من التنبؤ بنتائج أكثر دقة.

تطبيقات المصنف Naive Bayes

نظرًا لأن هذه الخوارزمية سريعة وفعالة، يمكنك استخدامها لإجراء تنبؤات في الوقت الفعلي.

كشف البريد العشوائي

خدمات البريد الإلكتروني (مثل Gmailاستخدم هذه الخوارزمية لتحديد ما إذا كانت الرسالة الإلكترونية بريدًا عشوائيًا أم لا. هذه الخوارزمية ممتازة لتصفية البريد العشوائي.

تحليل المشاعر

يمكنه تصنيف النص على أنه إيجابي أو سلبي أو محايد بناءً على ميزات مثل اختيار الكلمات وبنية الجملة والسياق. يجد تطبيقات في مراقبة وسائل التواصل الاجتماعي ومراجعات العملاء وأبحاث السوق.

تصنيف الوثيقة

يمكنه تصنيف المستندات إلى فئات مثل الرياضة أو السياسة أو التكنولوجيا أو التمويل بناءً على تكرار أو وجود كلمات أو ميزات محددة داخل المستند.

نظم التوصية

يمكنه تحليل تفضيلات المستخدم والبيانات التاريخية وميزات العناصر للتنبؤ باهتمامات المستخدم أو تفضيلاته للتوصية بالمنتجات أو الأفلام أو المقالات.

تُستخدم خوارزمية التصنيف هذه أيضًا في التعرف على الوجوه، والتنبؤ بالطقس، والتشخيص الطبي، والتسوقpingتصنيف الأخبار وما إلى ذلك. يمكنك تطبيق خوارزمية بايز البسيطة في Python، حيث توفر وحدة sklearn.naive_bayes كل المتغيرات الموضحة أعلاه.

الأسئلة الشائعة