التعلم الآلي غير الخاضع للرقابة: Algorithmsالأنواع والأمثلة

من قبل: إيفلين كلارك إيفلين كلارك
Hours تحديث

⚡ ملخص ذكي

التعلم غير الخاضع للإشراف هو أسلوب تعلم آلي يعمل على البيانات غير المصنفة، مما يسمح للنموذج باكتشاف البنية بنفسه من خلال التجميع وقواعد الارتباط وتقليل الأبعاد بدلاً من الإجابات المقدمة مسبقًا.

  • 🔘 لا حاجة إلى ملصقات: تبحث الخوارزمية عن بنية بدلاً من مطابقة الإجابات المعروفة.
  • ☑️ ثلاث مجموعات من المهام: Clusterاستخراج قواعد الارتباط وتقليل الأبعاد.
  • ✅ أربعة أنماط للتجميع: حصري، تكتل، تداخلping واحتمالي.
  • 🧪 الخوارزميات المسماة: K-means، التجميع الهرمي، Fuzzy C-Means، PCA، SVD و ICA.
  • 🛠️ أين تكسب قوتها: تجزئة العملاء، والكشف عن الاحتيال والشذوذ، وتحليل سلة التسوق، ومعالجة البيانات المسبقة.
  • ⚙️ المقايضة: عدم وجود بيانات مرجعية يعني أنه يجب تفسير النتائج والتحقق من صحتها وتسميتها بواسطة إنسان.
اقرأ المزيد

التعلم الآلي غير الخاضع للإشراف: الخوارزميات، والأنواع مع أمثلة

ما هو التعلم غير الخاضع للإشراف؟

التعلم غير الخاضع للإشراف هو أسلوب من أساليب التعلم الآلي لا يتطلب إشراف المستخدم على النموذج. بل يسمح للنموذج بالعمل بشكل مستقل لاكتشاف الأنماط والمعلومات التي لم تكن معروفة سابقًا. ويتعامل هذا الأسلوب بشكل أساسي مع البيانات غير المصنفة.

تعليم غير مشرف عليه Algorithms

تعليم غير مشرف عليه Algorithms يُتيح ذلك للمستخدمين أداء مهام معالجة أكثر تعقيدًا مقارنةً بـ التعلم تحت إشرافمع ذلك، قد يكون التعلم غير الخاضع للإشراف أقل قابلية للتنبؤ من الطرق المدربة على إجابات معروفة. تشمل خوارزميات التعلم غير الخاضع للإشراف التجميع، واكتشاف الشذوذ، وتقليل الأبعاد، والشبكات العصبية ذاتية التنظيم.

مثال على التعلم الآلي غير الخاضع للرقابة

لنأخذ مثالاً على التعلم غير الخاضع للإشراف لطفلة وكلب عائلتها. تُظهر الصورة الأولى الحيوان الأليف الذي تتعرف عليه الطفلة بالفعل.

طفلة صغيرة مع كلب عائلتها، الحيوان الذي تعرفه بالفعل

هي تعرف هذا الكلب وتتعرف عليه. بعد بضعة أسابيع، أحضر صديق للعائلة كلباً وحاول اللعب مع الطفلة. يظهر هذا الكلب الثاني غير المألوف أدناه.

كلب غريب لم يره الطفل من قبل

لم ترَ الطفلة هذا الكلب من قبل، لكنها لاحظت تشابهاً كبيراً بينه وبين كلبها الأليف في العديد من الصفات (أذنان، عينان، المشي على أربع أرجل). لذا، عرّفت الطفلة الحيوان الجديد على أنه كلب. هذا مثال على التعلم غير الموجّه، حيث لا يتم تلقين الطفل أي شيء، بل يتعلم من البيانات (في هذه الحالة، بيانات عن كلب). لو كان هذا تعلماً موجّهاً، لأخبر صديق العائلة الطفلة أنه كلب، كما هو موضح في مثال التعلم غير الموجّه أعلاه.

لماذا التعلم غير الخاضع للرقابة؟

فيما يلي الأسباب الرئيسية لاستخدام التعلم غير الخاضع للإشراف في تعلم آلة:

  • يكتشف التعلم الآلي غير الخاضع للإشراف جميع أنواع الأنماط غير المعروفة في البيانات.
  • تساعدك الأساليب غير الخاضعة للرقابة في العثور على الميزات التي يمكن أن تكون مفيدة للتصنيف.
  • يمكنه العمل على البيانات فور وصولها، لذلك يتم تحليل السجلات الواردة وتجميعها دون انتظار قيام شخص ما بتسميتها أولاً.
  • من الأسهل الحصول على بيانات غير مصنفة من جهاز كمبيوتر مقارنة بالبيانات المصنفة، والتي تحتاج إلى تدخل يدوي.

Clusterأنواع التعلم غير الخاضع للرقابة Algorithms

يتم تصنيف مشاكل التعلم غير الخاضع للإشراف إلى مشاكل التجميع والترابط وتقليل الأبعاد. Clusterتقوم عملية تجميع السجلات المتشابهة، والربط بالعثور على العناصر التي تظهر معًا، وتقليل الأبعاد بضغط العديد من الميزات في عدد قليل.

ذات المواد

Clusterجي

Clusterيعد ing مفهومًا مهمًا عندما يتعلق الأمر بالتعلم غير الخاضع للإشراف. يتعامل بشكل أساسي مع إيجاد هيكل أو نمط في مجموعة من البيانات غير المصنفة. تعليم غير مشرف عليه Clusterستقوم الخوارزميات بمعالجة بياناتك وإيجاد التجمعات الطبيعية (المجموعات) إن وجدت. يمكنك أيضًا تعديل عدد المجموعات التي يجب أن تحددها الخوارزميات، مما يسمح لك بضبط دقة هذه المجموعات. يوضح الرسم البياني أدناه سجلات متناثرة مصنفة في مجموعات متميزة.

Clusterمخطط توضيحي يُظهر نقاط البيانات غير المصنفة مُجمعة في مجموعات منفصلة

هناك أنواع مختلفة من التجميع التي يمكنك الاستفادة منها:

حصريا (التقسيم)

في طريقة التجميع هذه، يتم تجميع البيانات بطريقة تسمح لكل سجل بالانتماء إلى مجموعة واحدة فقط.

على سبيل المثال: يعني K

التكتل

في تقنية التجميع هذه، يبدأ كل سجل كمجموعة مستقلة. ويؤدي التكرار المتواصل لعمليات الاتحاد بين أقرب مجموعتين إلى تقليل عدد المجموعات.

مثال: التجميع الهرمي

تداخلping

في هذه التقنية، المجموعات الغامضة تُستخدم هذه الأدوات لتجميع البيانات. قد تنتمي كل نقطة إلى مجموعتين أو أكثر بدرجات عضوية منفصلة.

هنا، سيتم ربط البيانات بقيمة العضوية المناسبة. مثال: وسائل C غامضة

احتمالي

تستخدم هذه التقنية توزيعًا احتماليًا لإنشاء المجموعات.

مثال: الكلمات المفتاحية التالية

  • "حذاء الرجل."
  • "حذاء نسائي."
  • "قفازات نسائية."
  • "قفاز الرجل."

يمكن تصنيفها إلى فئتين، "أحذية" و"قفازات"، أو "رجال" و"نساء".

Clusterأنواع جي

فيما يلي الخوارزميات الأكثر شيوعًا في التعلم الآلي غير الخاضع للإشراف. تُجمّع الخوارزميتان الأوليان السجلات، بينما تُقلّل الخوارزميات الثلاث الأخيرة الأبعاد بدلًا من تكوين مجموعات، وقد أُدرجت خوارزمية K-NN لأنها غالبًا ما تُخلط مع خوارزمية K-means.

  • التجميع الهرمي — التجميع
  • التجميع باستخدام خوارزمية K-means — التجميع
  • خوارزمية K-NN (أقرب k جار) - هي مصنف خاضع للإشراف، وليست طريقة تجميع.
  • تحليل المكونات الرئيسية - تقليل الأبعاد
  • تحليل القيم المفردة - تقليل الأبعاد
  • تحليل المكونات المستقلة - تقليل الأبعاد

الهرمية Clusterجي

التجميع الهرمي هو خوارزمية تُنشئ تسلسلاً هرمياً من المجموعات. تبدأ هذه الخوارزمية بتخصيص جميع البيانات لمجموعة واحدة. ثم تُدمج مجموعتان متقاربتان في مجموعة واحدة. وتنتهي الخوارزمية عندما تبقى مجموعة واحدة فقط. وهي تُعرّف فكرتين جديرتين بالذكر.

التكتل العنقودي

لا يتطلب هذا الشكل التصاعدي من التجميع الهرمي تحديد عدد المجموعات K كمدخل. تبدأ عملية التجميع بتشكيل كل سجل كمجموعة واحدة.

تعتمد هذه الطريقة على مقياس للمسافة، وتقلل عدد المجموعات (مجموعة واحدة في كل تكرار) من خلال عملية دمج. في النهاية، نحصل على مجموعة واحدة كبيرة تضم جميع العناصر، ويقوم المحلل بقطع الشجرة عند الارتفاع الذي يُعطي عددًا معقولًا من المجموعات.

دندروغرام

في طريقة التجميع باستخدام مخطط الشجرة، يُمثل كل مستوى مجموعة محتملة. ويُشير ارتفاع مخطط الشجرة إلى مستوى التشابه بين مجموعتين مُدمجتين. فكلما اقتربت المجموعتان من أسفل المخطط، زاد تشابههما؛ مع العلم أن اختيار الحد الفاصل الذي يُحدد المجموعات النهائية ليس تلقائيًا، بل هو في الغالب أمرٌ تقديري.

يعني K Clusterجي

خوارزمية K-means هي خوارزمية تجميع تكرارية تعمل على تحسين المجموعةping في كل تكرار. في البداية، يتم تحديد العدد المطلوب من المجموعات. في طريقة التجميع هذه، تحتاج إلى تجميع نقاط البيانات في k مجموعة. قيمة k الأكبر تعني مجموعات أصغر ذات دقة أعلى؛ وقيمة k الأصغر تعني مجموعات أكبر ذات دقة أقل.

تُنتج الخوارزمية مجموعة من "التصنيفات". حيث تُخصص كل نقطة بيانات لإحدى المجموعات k. في خوارزمية التجميع k-means، تُحدد كل مجموعة بإنشاء مركز لها. تُشبه المراكز قلب المجموعة، حيث تلتقط النقاط الأقرب إليها وتضيفها إلى المجموعة.

ك- أقرب الجيران

تُعدّ خوارزمية أقرب جار (K-NN) أبسط خوارزميات تصنيف التعلم الآلي. وهي تختلف عن غيرها من تقنيات التعلم الآلي في أنها لا تُنتج نموذجًا. إنها خوارزمية بسيطة تخزن جميع الحالات المتاحة وتصنف الحالات الجديدة بناءً على مقياس التشابه. ولأنها تحتاج إلى حالات مُصنّفة للتصنيف، تُعتبر خوارزمية أقرب جار (K-NN) طريقةً خاضعةً للإشراف؛ وقد ذُكرت هنا فقط لأن منطقها القائم على المسافة يُشبه التجميع.

يعمل هذا الأسلوب بكفاءة عالية عندما تكون المسافة بين الأمثلة ذات دلالة. أما سرعة التعلم فتكون بطيئة عندما تكون مجموعة التدريب كبيرة، ويكون حساب المسافة معقدًا.

تحليل المكونات الرئيسية

تعتمد تقنية تحليل المكونات الرئيسية على فضاء متعدد الأبعاد وتختار أساسًا جديدًا، مع الحفاظ علىping تُؤخذ أهم النتائج فقط. يُعرف كل اتجاه في هذا الأساس بالمكون الرئيسي. تُشكل المجموعة الفرعية التي تحتفظ بها فضاءً جديدًا صغير الحجم مقارنةً بالفضاء الأصلي، مع الحفاظ على أكبر قدر ممكن من تعقيد البيانات.

جمعية

تتيح لك قواعد الربط إنشاء علاقات بين عناصر البيانات داخل قواعد البيانات الكبيرة. تعتمد هذه التقنية غير الخاضعة للإشراف على اكتشاف العلاقات المهمة بين المتغيرات في قواعد البيانات الكبيرة، وهي عنصر أساسي في استخراج البياناتعلى سبيل المثال، من المرجح أن يشتري الأشخاص الذين يشترون منزلًا جديدًا أثاثًا جديدًا.

أمثلة أخرى:

  • مجموعة فرعية من مرضى السرطان مصنفة حسب قياسات التعبير الجيني لديهم
  • مجموعات المتسوقين بناءً على سجلات تصفحهم وشرائهم
  • الأفلام مصنفة حسب التقييمات التي قدمها المشاهدون

التعلم الآلي الخاضع للإشراف مقابل التعلم الآلي غير الخاضع للإشراف

هنا هو الفرق الرئيسي بين التعلم الخاضع للإشراف مقابل التعلم غير الخاضع للإشراف:

المعاملات تقنية التعلم الآلي الخاضعة للإشراف تقنية التعلم الآلي غير الخاضعة للرقابة
ادخال البيانات Algorithms يتم تدريبهم باستخدام البيانات المصنفة. Algorithms يتم استخدامها ضد البيانات التي لم يتم تصنيفها
التعقيد الحسابي التعلم الخاضع للإشراف هو طريقة أبسط. التعلم غير الخاضع للإشراف معقد حسابيًا
الدقة يمكن قياس الدقة مباشرة بالرجوع إلى الملصقات المعروفة. لا يمكن قياس الدقة بشكل مباشر؛ فالنتائج تحتاج إلى تفسير.
الناتج النموذجي توقع لكل رقم قياسي جديد المجموعات أو القواعد أو الميزات المضغوطة

تطبيقات التعلم الآلي غير الخاضع للرقابة

من تطبيقات تقنيات التعلم غير الخاضع للإشراف ما يلي:

  • Clusterيقوم البرنامج تلقائيًا بتقسيم مجموعة البيانات إلى مجموعات بناءً على أوجه التشابه بينها.
  • يمكن أن يكتشف اكتشاف الحالات الشاذة نقاط بيانات غير عادية في مجموعة البيانات الخاصة بك. ومن المفيد العثور على المعاملات الاحتيالية
  • يحدد التعدين المقترن مجموعات من العناصر التي غالبًا ما تحدث معًا في مجموعة البيانات الخاصة بك
  • تُستخدم نماذج المتغيرات الكامنة على نطاق واسع في معالجة البيانات المسبقة، مثل تقليل عدد الميزات في مجموعة البيانات أو تقسيم مجموعة البيانات إلى مكونات متعددة.

عيوب التعلم غير الخاضع للرقابة

  • لا يمكنك الحصول على معلومات دقيقة بشأن فرز البيانات، لأن البيانات المستخدمة في التعلم غير الخاضع للإشراف غير مصنفة، ومجموعتها الحقيقيةping ليس معروفا
  • Less دقة النتائج غير مضمونة، لأن بيانات الإدخال غير معروفة وغير مصنفة مسبقاً من قبل البشر. وهذا يعني أن الآلة مطالبة بالقيام بذلك بنفسها.
  • لا تتوافق الفئات الطيفية دائمًا مع الفئات المعلوماتية.
  • يحتاج المستخدم إلى قضاء بعض الوقت في تفسير وتصنيف الفئات التي تلي التصنيف.
  • يمكن أن تتغير الخصائص الطيفية للفئات أيضًا بمرور الوقت، لذلك لا يمكنك الاحتفاظ بنفس معلومات الفئة أثناء الانتقال من صورة إلى أخرى.

الأسئلة الشائعة

ترسم طريقة الكوع الخطأ داخل المجموعة مقابل قيمة k وتبحث عن نقطة الانحناء. أما درجة الصورة الظلية، التي تتراوح من -1 إلى 1، فتقيّم مدى ملاءمة كل نقطة لمجموعتها. اقرأ كليهما معًا.

تتعامل الخوارزميات القائمة على المسافة مع كل وحدة على قدم المساواة، لذا فإن عمود الراتب بالآلاف سيطغى على عمود العمر بالسنوات. إن توحيد كل ميزة أولاً يمنح كل متغير فرصة عادلة في حساب المسافة.

يُعدّ Apriori أداة تحليل قواعد الارتباط الكلاسيكية التي تُستخدم في تحليل سلة السوق. فهو يكتشف مجموعات العناصر المتكررة، ثم يحوّلها إلى قواعد مُرتبة حسب الدعم والثقة والتأثير. أما FP-growth وEclat، فيُنجزان المهمة نفسها بسرعة أكبر.

يستخدم التعلم شبه الموجه مجموعة صغيرة من البيانات المصنفة إلى جانب مجموعة كبيرة من البيانات غير المصنفة. ويوجه الهيكل الموجود في البيانات غير المصنفة النموذج، بحيث تقترب الدقة من نتيجة التعلم الموجه بتكلفة تصنيف أقل بكثير.

يُعد تحليل المكونات الرئيسية (PCA) تحويلاً خطياً يحافظ على التباين العام ويُطبق على السجلات الجديدة. أما خوارزمية t-SNE فهي غير خطية ومصممة لتصوير الأحياء المحلية في بعدين؛ لذا لا ينبغي قراءة المسافات بين المجموعات المنفصلة حرفياً.

تُعدّ خوارزميات Isolation Forest و One-Class SVM و DBSCAN وخطأ إعادة بناء المشفر التلقائي من الخيارات الشائعة. يقيس كل منها مدى بُعد السجل عن معظم البيانات، لذا يُحدّد عتبة معينة ما يُعتبر شاذًا.

تقوم خطوط المعالجة الآلية بمسح الخوارزميات ومقاييس المسافة وقيم k، ثم ترتب عمليات التشغيل حسب درجات الصلاحية الداخلية. وتعتمد نماذج اللغة بشكل متزايد على صياغة أسماء باللغة الإنجليزية البسيطة للمقاطع الناتجة، مما يقلل من خطوة التفسير.

مساعد الطيار جيثب يُنشئ هذا الأمر مسارات عمل مكتبة scikit-learn، ومخططات الكوع، ومخططات الظلية من سطر واحد. تأكد من أنه قام بتوسيع نطاق الميزات وتعيين قيمة ابتدائية عشوائية، وهو ما غالبًا ما يتم حذفه من المقتطفات المُولّدة.

تلخيص هذه التدوينة بـ: