रीइन्फोर्समेंट लर्निंग क्या है? प्रकार, Algorithms & उदाहरण

सुदृढीकरण सीखना क्या है?

सुदृढीकरण सीखना एक मशीन लर्निंग यह विधि इस बात से संबंधित है कि किसी वातावरण में सॉफ़्टवेयर एजेंटों को किस प्रकार की कार्रवाई करनी चाहिए। एजेंट को सही उत्तर नहीं दिखाए जाते; यह प्राप्त पुरस्कार से सीखता है और संचयी पुरस्कार को अधिकतम करने के लिए अपने व्यवहार को समायोजित करता है।

रीइन्फोर्समेंट लर्निंग अपने आप में मशीन लर्निंग की एक शाखा है, इसके साथ-साथ देखरेख और के चलते किसी जब एजेंट की नीति या मूल्य फ़ंक्शन को एक न्यूरल नेटवर्क द्वारा दर्शाया जाता है, तो इस संयोजन को कहा जाता है गहरी सुदृढीकरण सीखने — यही संयोजन किसी एजेंट को कई चरणों में एक जटिल उद्देश्य प्राप्त करने या किसी विशिष्ट आयाम को अधिकतम करने में सक्षम बनाता है।

पुनर्बलन अधिगम पद्धति के महत्वपूर्ण घटक

एल्गोरिदम को समझने से पहले, इसके घटकों को नाम देना सहायक होता है। नीचे दिया गया आरेख दर्शाता है कि एजेंट, वातावरण, क्रिया और पुरस्कार संकेत एक लूप में किस प्रकार एक साथ काम करते हैं।

यहां कुछ महत्वपूर्ण शब्द दिए गए हैं जिनका उपयोग रीइन्फोर्समेंट लर्निंग में किया जाता है:

• एजेंट: वह इकाई जो किसी वातावरण में कुछ पुरस्कार प्राप्त करने के लिए क्रियाएं करती है।
• पर्यावरण (ई): एक परिदृश्य जिसका सामना एक एजेंट को करना पड़ता है।
• पुरस्कार (आर): किसी एजेंट द्वारा कोई विशिष्ट क्रिया या कार्य करने पर उसे मिलने वाला तत्काल प्रतिफल।
• राज्य: अवस्था से तात्पर्य पर्यावरण द्वारा लौटाई गई वर्तमान स्थिति से है।
• नीति (π): एजेंट द्वारा वर्तमान स्थिति के आधार पर अगली कार्रवाई तय करने के लिए अपनाई गई रणनीति।
• मूल्य (वी): अल्पकालिक लाभ की तुलना में छूट सहित अपेक्षित दीर्घकालिक प्रतिफल।
• मूल्य फ़ंक्शन: यह किसी स्थिति के मूल्य को निर्दिष्ट करता है, अर्थात् उस स्थिति से शुरू होकर एक एजेंट द्वारा अर्जित किए जाने वाले पुरस्कार की कुल राशि।
• पर्यावरण का मॉडल: यह वातावरण के व्यवहार की नकल करता है। इससे आप निष्कर्ष निकाल सकते हैं और यह भी निर्धारित कर सकते हैं कि वातावरण कैसा व्यवहार करेगा।
• मॉडल-आधारित विधियाँ: वे विधियाँ जो पहले पर्यावरण के मॉडल को सीखकर या उसका उपयोग करके, फिर उसके आधार पर योजना बनाकर सुदृढीकरण सीखने की समस्याओं को हल करती हैं।
• क्यू मान या क्रिया मान (Q): Q का मान, मान से काफी मिलता-जुलता है। दोनों में एकमात्र अंतर यह है कि यह एक अतिरिक्त पैरामीटर, वर्तमान क्रिया को शामिल करता है।

सुदृढीकरण सीखना कैसे काम करता है?

किसी भी संकेत के प्रकट होने से पहले एक रोजमर्रा का उदाहरण कार्यप्रणाली को स्पष्ट कर देता है।

अपनी बिल्ली को नए करतब सिखाने के परिदृश्य पर विचार करें।

• चूंकि बिल्ली अंग्रेजी या कोई अन्य मानवीय भाषा नहीं समझती, इसलिए हम उसे सीधे तौर पर यह नहीं बता सकते कि उसे क्या करना है। इसके बजाय, हम एक अलग रणनीति अपनाते हैं।
• हम एक परिस्थिति का अनुकरण करते हैं, और बिल्ली कई अलग-अलग तरीकों से प्रतिक्रिया देने की कोशिश करती है। यदि बिल्ली की प्रतिक्रिया वांछित होती है, तो हम उसे मछली देते हैं।
• अब जब भी बिल्ली को उसी स्थिति का सामना करना पड़ता है, तो वह और भी अधिक उत्साह से वैसी ही क्रिया करती है, इस उम्मीद में कि उसे और अधिक इनाम (भोजन) मिलेगा।
• सकारात्मक अनुभवों से बिल्ली को "क्या करना चाहिए" के बारे में जो सीख मिलती है, वह यही है।
• साथ ही, बिल्ली यह भी सीखती है कि नकारात्मक अनुभवों का सामना करने पर उसे क्या नहीं करना चाहिए।

सुदृढीकरण सीखने का उदाहरण

नीचे दिया गया चित्र उस बिल्ली की कहानी को औपचारिक चक्र पर दर्शाता है, जिसमें घर को वातावरण और मछली को पुरस्कार के रूप में दर्शाया गया है।

इस मामले में,

• आपकी बिल्ली एक ऐसा कारक है जो वातावरण के संपर्क में आती है। इस मामले में, वातावरण आपका घर है। एक उदाहरण यह हो सकता है कि आपकी बिल्ली बैठी है और आप उसे चलने के लिए किसी विशेष शब्द का प्रयोग करते हैं।
• हमारा एजेंट एक “स्थिति” से दूसरी “स्थिति” में क्रिया संक्रमण करके प्रतिक्रिया करता है।
• उदाहरण के लिए, आपकी बिल्ली बैठने से चलने लगती है।
• किसी एजेंट की प्रतिक्रिया एक क्रिया है, और नीति बेहतर परिणामों की उम्मीद में किसी स्थिति में क्रिया का चयन करने की एक विधि है।
• परिवर्तन के बाद, एजेंट को बदले में पुरस्कार या दंड मिल सकता है।

सुदृढीकरण सीखना Algorithms

रीइन्फोर्समेंट लर्निंग एल्गोरिदम को लागू करने के तीन तरीके हैं, और वे मुख्य रूप से इस बात में भिन्न होते हैं कि एजेंट क्या संग्रहीत करता है और क्या सीखता है।

मूल्य आधारित

मूल्य-आधारित रीइन्फोर्समेंट लर्निंग पद्धति में, आप मूल्य फ़ंक्शन V(s) को अधिकतम करने का प्रयास करते हैं। इस पद्धति में, एजेंट नीति π के तहत वर्तमान स्थितियों से दीर्घकालिक प्रतिफल की अपेक्षा करता है।

नीति के आधार पर

पॉलिसी-आधारित रियल लाइफ पद्धति में, आप एक ऐसी पॉलिसी बनाने की कोशिश करते हैं जिससे प्रत्येक स्थिति में की गई कार्रवाई आपको भविष्य में अधिकतम पुरस्कार प्राप्त करने में मदद करे।

नीति-आधारित विधियाँ दो प्रकार की होती हैं:

• नियतात्मक: किसी भी अवस्था के लिए, नीति π द्वारा समान क्रिया उत्पन्न होती है।
• स्टोकेस्टिक: प्रत्येक क्रिया की एक निश्चित प्रायिकता होती है, जो निम्नलिखित समीकरण द्वारा दी जाती है।

स्टोकेस्टिक नीति:

π(a|s) = P[At = a | St = s]

मॉडल के आधार पर

इस रीइन्फोर्समेंट लर्निंग पद्धति में, आप प्रत्येक वातावरण के लिए एक वर्चुअल मॉडल बनाते हैं। एजेंट उस विशिष्ट वातावरण में कार्य करना सीखता है।

सुदृढीकरण सीखने की विशेषताएं

यहां सुदृढीकरण अधिगम की महत्वपूर्ण विशेषताएं दी गई हैं:

• कोई पर्यवेक्षक नहीं है, केवल एक वास्तविक संख्या या पुरस्कार संकेत है
• अनुक्रमिक निर्णय लेना
• सुदृढीकरण समस्याओं में समय महत्वपूर्ण भूमिका निभाता है
• प्रतिक्रिया अक्सर तुरंत मिलने की बजाय विलंबित होती है।
• एजेंट की गतिविधियां उसके द्वारा प्राप्त किए जाने वाले आगामी डेटा को निर्धारित करती हैं

सुदृढीकरण सीखने के प्रकार

“पुनर्बलन” शब्द व्यवहार मनोविज्ञान से लिया गया है, और यह दो रूपों में आता है:

सकारात्मक:

इसे एक ऐसी घटना के रूप में परिभाषित किया जाता है जो किसी विशिष्ट व्यवहार के परिणामस्वरूप घटित होती है। यह व्यवहार की तीव्रता और आवृत्ति को बढ़ाती है और कर्ता द्वारा की गई कार्रवाई पर सकारात्मक प्रभाव डालती है।

इस प्रकार का सुदृढ़ीकरण आपको प्रदर्शन को अधिकतम करने और परिवर्तन को लंबे समय तक बनाए रखने में मदद करता है। हालांकि, अत्यधिक सुदृढ़ीकरण स्थिति के अति-अनुकूलन का कारण बन सकता है, जो परिणामों को प्रभावित कर सकता है।

नकारात्मक:

नकारात्मक सुदृढ़ीकरण को उस व्यवहार के सुदृढ़ीकरण के रूप में परिभाषित किया जाता है जो किसी नकारात्मक परिस्थिति के कारण होता है जिसे रोका या टाला जाना चाहिए था। यह प्रदर्शन के न्यूनतम मानक को निर्धारित करने में सहायक होता है। हालांकि, इस विधि की कमी यह है कि यह केवल न्यूनतम व्यवहार को पूरा करने के लिए ही पर्याप्त सुदृढ़ीकरण प्रदान करती है।

सुदृढीकरण के मॉडल सीखना

सुदृढीकरण सीखने में दो महत्वपूर्ण शिक्षण मॉडल हैं:

• मार्कोव निर्णय प्रक्रिया
• क्यू सीखना

मार्कोव निर्णय प्रक्रिया

समाधान प्राप्त करने के लिए निम्नलिखित मापदंडों का उपयोग किया जाता है:

• कार्यों का समूह – ए
• राज्यों का समूह – S
• इनाम – R
• नीति – π
• मान – V

मानचित्र के लिए गणितीय दृष्टिकोणping रीइन्फोर्समेंट लर्निंग में समाधान को मार्कोव डिसीजन प्रोसेस (एमडीपी) के रूप में औपचारिक रूप दिया जाता है। नीचे दिया गया आरेख उन पांच मापदंडों को एक ही एजेंट-पर्यावरण चक्र में एकीकृत दिखाता है।

क्यू-लर्निंग

क्यू लर्निंग सूचना प्रदान करने की एक मूल्य-आधारित विधि है जो किसी एजेंट को यह बताती है कि उसे कौन सी कार्रवाई करनी है।

आइए इस विधि को निम्नलिखित उदाहरण से समझते हैं:

• एक इमारत में पाँच कमरे हैं जो दरवाजों से जुड़े हुए हैं।
• प्रत्येक कमरे को 0 से 4 तक क्रमांकित किया गया है।
• इमारत के बाहरी हिस्से को एक बड़े बाहरी क्षेत्र (5) के रूप में माना जा सकता है।
• दरवाज़ा नंबर 1 और 4 कमरा 5 से इमारत में ले जाते हैं

नीचे दिए गए फ्लोर प्लान में उन कमरों को क्रमांकित किया गया है और यह दिखाया गया है कि कौन से दरवाजे उन्हें जोड़ते हैं।

इसके बाद, आपको प्रत्येक दरवाजे के साथ एक इनाम मूल्य जोड़ना होगा:

• सीधे लक्ष्य तक ले जाने वाले दरवाजों पर 100 का इनाम है
• जो दरवाजे सीधे लक्ष्य कक्ष से जुड़े नहीं होते, उनसे कोई इनाम नहीं मिलता।
• क्योंकि दरवाजे दो तरफा होते हैं, इसलिए प्रत्येक कमरे के लिए दो तीर के निशान दिए गए हैं।
• ऊपर दी गई छवि में प्रत्येक तीर का एक तात्कालिक इनाम मूल्य है।

स्पष्टीकरण: इस चित्र में, प्रत्येक कमरा एक अवस्था को दर्शाता है, और एजेंट का एक कमरे से दूसरे कमरे में जाना एक क्रिया को दर्शाता है।

नीचे दिए गए ग्राफ में, एक स्थिति को नोड के रूप में दर्शाया गया है, जबकि तीर उपलब्ध क्रियाओं और उनमें से प्रत्येक से जुड़े पुरस्कार को दर्शाते हैं।

उदाहरण के लिए, एक एजेंट कमरा नंबर 2 से 5 तक जाता है:

• प्रारंभिक अवस्था = अवस्था 2
• राज्य 2-> राज्य 3
• राज्य 3 -> राज्य (2,1,4)
• राज्य 4-> राज्य (0,5,3)
• राज्य 1-> राज्य (5,3)
• राज्य 0-> राज्य 4

सुदृढीकरण सीखना बनाम पर्यवेक्षित सीखना

रीइन्फोर्समेंट लर्निंग को समझने का सबसे स्पष्ट तरीका यह है कि इसे उस प्रतिमान के साथ रखा जाए जिसे अधिकांश पाठक पहले से ही जानते हैं।

सुदृढीकरण सीखने के अनुप्रयोग

सुदृढीकरण सीखने के अनुप्रयोग इस प्रकार हैं:

• औद्योगिक स्वचालन के लिए रोबोटिक्स।
• व्यापार रणनीति योजना
• मशीन लर्निंग और डेटा प्रोसेसिंग
• यह आपको ऐसे प्रशिक्षण प्रणालियाँ बनाने में मदद करता है जो छात्रों की आवश्यकताओं के अनुसार अनुकूलित निर्देश और सामग्री प्रदान करती हैं।
• विमान नियंत्रण और रोबोट गति नियंत्रण

सुदृढीकरण सीखने का उपयोग क्यों करें?

सुदृढीकरण सीखने का उपयोग करने के प्रमुख कारण यहां दिए गए हैं:

• इससे आपको यह पता लगाने में मदद मिलती है कि किस स्थिति में कार्रवाई की आवश्यकता है।
• यह आपको यह पता लगाने में मदद करता है कि कौन सा कार्य लंबी अवधि में सबसे अधिक लाभ देता है।
• रीइन्फोर्समेंट लर्निंग, लर्निंग एजेंट को रिवार्ड फंक्शन भी प्रदान करती है।
• इससे एजेंट को बड़े पुरस्कार प्राप्त करने का सर्वोत्तम तरीका खोजने में भी मदद मिलती है।

सुदृढीकरण सीखने का उपयोग कब नहीं करना चाहिए?

आप हर परिस्थिति में रीइन्फोर्समेंट लर्निंग मॉडल लागू नहीं कर सकते। यहाँ कुछ ऐसी परिस्थितियाँ दी गई हैं जिनमें आपको इसका उपयोग नहीं करना चाहिए।

• जब आपके पास सुपरवाइज्ड लर्निंग पद्धति से समस्या को हल करने के लिए पर्याप्त लेबल किया हुआ डेटा हो।
• रीइन्फोर्समेंट लर्निंग में बहुत अधिक कंप्यूटिंग ऊर्जा की आवश्यकता होती है और यह समय लेने वाली प्रक्रिया है, विशेष रूप से तब जब एक्शन स्पेस बड़ा हो।

सुदृढीकरण सीखने की चुनौतियाँ

रीइन्फोर्समेंट लर्निंग करते समय आपको जिन प्रमुख चुनौतियों का सामना करना पड़ेगा, वे इस प्रकार हैं:

• फीचर और रिवॉर्ड डिजाइन, जो काफी जटिल हो सकता है।
• पैरामीटर सीखने की गति को प्रभावित कर सकते हैं।
• यथार्थवादी वातावरण में आंशिक अवलोकनीयता हो सकती है।
• अत्यधिक सुदृढ़ीकरण से अवस्थाओं का अतिभार हो सकता है, जिससे परिणाम कमज़ोर हो सकते हैं।
• यथार्थवादी वातावरण अस्थिर हो सकते हैं।

अक्सर पूछे जाने वाले प्रश्न