न्यूरल नेटवर्क में बैक प्रोपेगेशन: मशीन लर्निंग एल्गोरिदम

बैक प्रोपेगेशन न्यूरल नेटवर्क (BPNN) सीखने से पहले, आइए समझते हैं:

कृत्रिम तंत्रिका नेटवर्क क्या है?

न्यूरल नेटवर्क कनेक्टेड I/O इकाइयों का एक समूह है, जहाँ प्रत्येक कनेक्शन का अपने कंप्यूटर प्रोग्राम से जुड़ा एक वज़न होता है। यह आपको बड़े डेटाबेस से पूर्वानुमानित मॉडल बनाने में मदद करता है। यह मॉडल मानव तंत्रिका तंत्र पर आधारित है। यह आपको छवि समझ, मानव सीखना, कंप्यूटर भाषण आदि का संचालन करने में मदद करता है।

बैकप्रॉपैगेशन क्या है?

backpropagation तंत्रिका नेटवर्क प्रशिक्षण का सार है। यह पिछले युग (यानी, पुनरावृत्ति) में प्राप्त त्रुटि दर के आधार पर तंत्रिका नेटवर्क के भार को ठीक करने की विधि है। भार की उचित ट्यूनिंग आपको त्रुटि दरों को कम करने और इसके सामान्यीकरण को बढ़ाकर मॉडल को विश्वसनीय बनाने की अनुमति देती है।

तंत्रिका नेटवर्क में बैकप्रोपेगेशन "त्रुटियों के पिछड़े प्रसार" का संक्षिप्त रूप है। यह कृत्रिम तंत्रिका नेटवर्क को प्रशिक्षित करने की एक मानक विधि है। यह विधि नेटवर्क में सभी भारों के संबंध में हानि फ़ंक्शन के ग्रेडिएंट की गणना करने में मदद करती है।

बैकप्रोपेगेशन एल्गोरिदम कैसे काम करता है

तंत्रिका नेटवर्क में बैक प्रोपेगेशन एल्गोरिदम चेन रूल द्वारा एकल भार के लिए हानि फ़ंक्शन के ग्रेडिएंट की गणना करता है। यह मूल प्रत्यक्ष गणना के विपरीत, एक समय में एक परत की कुशलतापूर्वक गणना करता है। यह ग्रेडिएंट की गणना करता है, लेकिन यह परिभाषित नहीं करता है कि ग्रेडिएंट का उपयोग कैसे किया जाता है। यह डेल्टा नियम में गणना को सामान्यीकृत करता है।

समझने के लिए निम्नलिखित बैक प्रोपेगेशन न्यूरल नेटवर्क उदाहरण आरेख पर विचार करें:

1. इनपुट X, पूर्व-संयोजित पथ से पहुँचते हैं
2. इनपुट को वास्तविक भार W का उपयोग करके मॉडल किया जाता है। भार आमतौर पर यादृच्छिक रूप से चुने जाते हैं।
3. इनपुट परत से लेकर छिपी परतों तक, आउटपुट परत तक प्रत्येक न्यूरॉन के लिए आउटपुट की गणना करें।
4. आउटपुट में त्रुटि की गणना करें

ErrorB= Actual Output – Desired Output

5. आउटपुट परत से छिपी परत तक वापस जाएँ और भार को समायोजित करें ताकि त्रुटि कम हो जाए।

वांछित परिणाम प्राप्त होने तक प्रक्रिया को दोहराते रहें

हमें बैकप्रोपेगेशन की आवश्यकता क्यों है?

बैकप्रोपेगेशन के सबसे प्रमुख लाभ हैं:

• बैकप्रोपेगेशन तेज, सरल और प्रोग्राम करने में आसान है
• इसमें इनपुट की संख्या के अलावा ट्यून करने के लिए कोई पैरामीटर नहीं है
• यह एक लचीली विधि है क्योंकि इसमें नेटवर्क के बारे में पूर्व ज्ञान की आवश्यकता नहीं होती है
• यह एक मानक विधि है जो आम तौर पर अच्छी तरह से काम करती है
• इसमें सीखे जाने वाले फ़ंक्शन की विशेषताओं का कोई विशेष उल्लेख करने की आवश्यकता नहीं होती।

फीड फॉरवर्ड नेटवर्क क्या है?

फीडफॉरवर्ड न्यूरल नेटवर्क एक कृत्रिम न्यूरल नेटवर्क है, जहाँ नोड्स कभी भी चक्र नहीं बनाते हैं। इस तरह के न्यूरल नेटवर्क में एक इनपुट लेयर, छिपी हुई लेयर और एक आउटपुट लेयर होती है। यह कृत्रिम न्यूरल नेटवर्क का पहला और सरलतम प्रकार है।

बैकप्रोपेगेशन नेटवर्क के प्रकार

बैकप्रोपेगेशन नेटवर्क के दो प्रकार हैं:

• स्थैतिक बैक-प्रोपेगेशन
• पुनरावर्ती बैकप्रोपेगेशन

स्थैतिक पश्च-प्रसार

यह एक प्रकार का बैकप्रोपेगेशन नेटवर्क है जो स्थिर आउटपुट के लिए स्थिर इनपुट की मैपिंग तैयार करता है। यह ऑप्टिकल कैरेक्टर रिकग्निशन जैसे स्थिर वर्गीकरण मुद्दों को हल करने के लिए उपयोगी है।

पुनरावर्ती बैकप्रोपेगेशन

डेटा माइनिंग में आवर्ती बैक प्रोपेगेशन को तब तक आगे बढ़ाया जाता है जब तक कि एक निश्चित मान प्राप्त न हो जाए। उसके बाद, त्रुटि की गणना की जाती है और उसे पीछे की ओर प्रसारित किया जाता है।

इन दोनों विधियों के बीच मुख्य अंतर यह है: स्थैतिक बैक-प्रोपेगेशन में मैपिंग तीव्र होती है, जबकि आवर्तक बैक-प्रोपेगेशन में यह अस्थैतिक होती है।

बैकप्रोपेगेशन का इतिहास

• 1961 में, निरंतर बैकप्रोपेगेशन की मूल अवधारणा को जे. केली, हेनरी आर्थर और ई. ब्रायसन द्वारा नियंत्रण सिद्धांत के संदर्भ में विकसित किया गया था।
• 1969 में, ब्रायसन और हो ने बहु-चरणीय गतिशील प्रणाली अनुकूलन विधि दी।
• 1974 में, वेरबोस ने इस सिद्धांत को कृत्रिम तंत्रिका नेटवर्क में लागू करने की संभावना बताई।
• 1982 में हॉपफील्ड ने न्यूरल नेटवर्क का अपना विचार प्रस्तुत किया।
• 1986 में, डेविड ई. रुमेलहार्ट, जेफ्री ई. हिंटन, रोनाल्ड जे. विलियम्स के प्रयास से बैकप्रोपेगेशन को मान्यता मिली।
• 1993 में, वान बैकप्रोपेगेशन विधि की सहायता से अंतर्राष्ट्रीय पैटर्न पहचान प्रतियोगिता जीतने वाले पहले व्यक्ति थे।

बैकप्रोपेगेशन मुख्य बिंदु

• प्रशिक्षित नेटवर्क पर न्यूनतम प्रभाव डालने वाले भारित लिंक वाले तत्वों द्वारा नेटवर्क संरचना को सरल बनाता है
• आपको इनपुट और छिपी हुई इकाई परतों के बीच संबंध विकसित करने के लिए इनपुट और सक्रियण मूल्यों के एक समूह का अध्ययन करने की आवश्यकता है।
• यह किसी दिए गए इनपुट चर का नेटवर्क आउटपुट पर पड़ने वाले प्रभाव का आकलन करने में मदद करता है। इस विश्लेषण से प्राप्त ज्ञान को नियमों में दर्शाया जाना चाहिए।
• बैकप्रोपेगेशन विशेष रूप से त्रुटि-प्रवण परियोजनाओं, जैसे छवि या वाक् पहचान, पर काम करने वाले गहरे तंत्रिका नेटवर्क के लिए उपयोगी है।
• बैकप्रोपेगेशन श्रृंखला का लाभ उठाता है और पावर नियम बैकप्रोपेगेशन को किसी भी संख्या में आउटपुट के साथ कार्य करने की अनुमति देता है।

सर्वोत्तम अभ्यास बैकप्रोपेगेशन

तंत्रिका नेटवर्क में बैकप्रोपेगेशन को "जूते के फीते" के उदाहरण की मदद से समझाया जा सकता है

बहुत कम तनाव =

• पर्याप्त बंधन नहीं और बहुत ढीला

बहुत अधिक तनाव =

• बहुत अधिक बाधा (अति-प्रशिक्षण)
• बहुत अधिक समय लगना (अपेक्षाकृत धीमी प्रक्रिया)
• टूटने की अधिक संभावना

एक फीता दूसरे से अधिक खींचना =

• असुविधा (पूर्वाग्रह)

बैकप्रोपेगेशन का उपयोग करने के नुकसान

• किसी विशिष्ट समस्या पर बैकप्रोपेगेशन का वास्तविक प्रदर्शन इनपुट डेटा पर निर्भर करता है।
• डेटा माइनिंग में बैक प्रोपेगेशन एल्गोरिदम शोर वाले डेटा के प्रति काफी संवेदनशील हो सकता है
• आपको मिनी-बैच के बजाय बैकप्रोपेगेशन के लिए मैट्रिक्स-आधारित दृष्टिकोण का उपयोग करने की आवश्यकता है।

सारांश

• न्यूरल नेटवर्क आपस में जुड़ी हुई I/O इकाइयों का एक समूह है, जहां प्रत्येक कनेक्शन का उसके कंप्यूटर प्रोग्राम से जुड़ा एक भार होता है।
• बैकप्रोपेगेशन "त्रुटियों के पिछड़े प्रसार" का संक्षिप्त रूप है। यह कृत्रिम तंत्रिका नेटवर्क को प्रशिक्षित करने की एक मानक विधि है
• बैक प्रोपेगेशन एल्गोरिथ्म यंत्र अधिगम तेज़, सरल और प्रोग्राम करने में आसान है
• फीडफॉरवर्ड बीपीएन नेटवर्क एक कृत्रिम तंत्रिका नेटवर्क है।
• बैकप्रोपेगेशन नेटवर्क के दो प्रकार हैं 1) स्टेटिक बैक-प्रोपेगेशन 2) रीकरंट बैकप्रोपेगेशन
• 1961 में, निरंतर बैकप्रोपेगेशन की मूल अवधारणा को जे. केली, हेनरी आर्थर और ई. ब्रायसन द्वारा नियंत्रण सिद्धांत के संदर्भ में विकसित किया गया था।
• वापस प्रसार आँकड़ा खनन प्रशिक्षित नेटवर्क पर न्यूनतम प्रभाव डालने वाले भारित लिंक को हटाकर नेटवर्क संरचना को सरल बनाता है।
• यह विशेष रूप से त्रुटि-प्रवण परियोजनाओं, जैसे छवि या वाक् पहचान, पर काम करने वाले गहरे तंत्रिका नेटवर्क के लिए उपयोगी है।
• बैकप्रोपेगेशन की सबसे बड़ी खामी यह है कि यह शोर वाले डेटा के प्रति संवेदनशील हो सकता है।