การขยายพันธุ์กลับในโครงข่ายประสาทเทียม: อัลกอริธึมการเรียนรู้ของเครื่อง
ก่อนที่เราจะเรียนรู้ Back Propagation Neural Network (BPNN) มาทำความเข้าใจกันก่อน:
โครงข่ายประสาทเทียมคืออะไร?
โครงข่ายประสาทเทียมคือกลุ่มของหน่วย I/O ที่เชื่อมต่อ โดยแต่ละการเชื่อมต่อมีน้ำหนักที่เกี่ยวข้องกับโปรแกรมคอมพิวเตอร์ ช่วยให้คุณสร้างแบบจำลองการคาดการณ์จากฐานข้อมูลขนาดใหญ่ โมเดลนี้สร้างขึ้นจากระบบประสาทของมนุษย์ ช่วยให้คุณดำเนินการทำความเข้าใจภาพ การเรียนรู้ของมนุษย์ คำพูดของคอมพิวเตอร์ ฯลฯ
Backpropagation คืออะไร?
การขยายพันธุ์หลัง คือหัวใจสำคัญของการฝึกอบรมโครงข่ายประสาทเทียม เป็นวิธีการปรับน้ำหนักของโครงข่ายประสาทเทียมอย่างละเอียดตามอัตราข้อผิดพลาดที่ได้รับในยุคก่อนหน้า (เช่น การวนซ้ำ) การปรับตุ้มน้ำหนักอย่างเหมาะสมจะช่วยลดอัตราข้อผิดพลาดและทำให้แบบจำลองมีความน่าเชื่อถือโดยการเพิ่มลักษณะทั่วไป
Backpropagation ในโครงข่ายประสาทเทียมเป็นรูปแบบย่อของ “การเผยแพร่ข้อผิดพลาดแบบย้อนกลับ” เป็นวิธีมาตรฐานในการฝึกโครงข่ายประสาทเทียม วิธีการนี้จะช่วยคำนวณความชันของฟังก์ชันการสูญเสียโดยคำนึงถึงน้ำหนักทั้งหมดในเครือข่าย
วิธีการทำงานของอัลกอริทึม Backpropagation
อัลกอริธึมการแพร่กระจายย้อนกลับในเครือข่ายประสาทจะคำนวณการไล่ระดับของฟังก์ชันการสูญเสียสำหรับน้ำหนักเดียวโดยใช้กฎลูกโซ่ โดยจะคำนวณทีละชั้นอย่างมีประสิทธิภาพ ซึ่งแตกต่างจากการคำนวณโดยตรงแบบดั้งเดิม อัลกอริธึมจะคำนวณการไล่ระดับ แต่จะไม่ระบุว่าจะใช้การไล่ระดับอย่างไร อัลกอริธึมจะสรุปการคำนวณในกฎเดลต้า
ลองพิจารณาแผนภาพตัวอย่างเครือข่ายประสาทเทียมแบบแพร่กระจายกลับต่อไปนี้เพื่อทำความเข้าใจ:
- อินพุต X มาถึงผ่านเส้นทางที่เชื่อมต่อไว้ล่วงหน้า
- อินพุตถูกสร้างแบบจำลองโดยใช้น้ำหนักจริง W โดยปกติแล้วน้ำหนักจะถูกเลือกแบบสุ่ม
- คำนวณเอาต์พุตสำหรับเซลล์ประสาททุกตัวตั้งแต่เลเยอร์อินพุต เลเยอร์ที่ซ่อนอยู่ ไปจนถึงเลเยอร์เอาท์พุต
- คำนวณข้อผิดพลาดในผลลัพธ์
ErrorB= Actual Output – Desired Output
- เดินทางกลับจากเลเยอร์เอาต์พุตไปยังเลเยอร์ที่ซ่อนอยู่เพื่อปรับน้ำหนักเพื่อลดข้อผิดพลาด
ทำซ้ำขั้นตอนต่อไปจนกว่าจะได้ผลลัพธ์ที่ต้องการ
ทำไมเราต้องมีการขยายพันธุ์กลับ?
ข้อดีที่โดดเด่นที่สุดของ Backpropagation คือ:
- Backpropagation นั้นรวดเร็ว ง่ายดาย และง่ายต่อการตั้งโปรแกรม
- ไม่มีพารามิเตอร์ในการปรับแต่งนอกเหนือจากจำนวนอินพุต
- เป็นวิธีที่ยืดหยุ่นเนื่องจากไม่จำเป็นต้องมีความรู้เกี่ยวกับเครือข่ายมาก่อน
- เป็นวิธีมาตรฐานที่ใช้ได้ผลดีโดยทั่วไป
- ไม่จำเป็นต้องกล่าวถึงคุณลักษณะของฟังก์ชันเป็นพิเศษเพื่อเรียนรู้
เครือข่าย Feed Forward คืออะไร?
โครงข่ายประสาทเทียมแบบป้อนไปข้างหน้าคือโครงข่ายประสาทเทียมที่โหนดไม่เคยสร้างวงจร โครงข่ายประสาทเทียมประเภทนี้มีเลเยอร์อินพุต เลเยอร์ที่ซ่อนอยู่ และเลเยอร์เอาท์พุต เป็นโครงข่ายประสาทเทียมชนิดแรกและง่ายที่สุด
ประเภทของเครือข่าย Backpropagation
เครือข่าย Backpropagation สองประเภทคือ:
- การแพร่กระจายกลับแบบคงที่
- การแพร่กระจายกลับซ้ำ
การแพร่กระจายกลับแบบคงที่
เป็นเครือข่าย backpropagation ประเภทหนึ่งที่สร้างการแมปอินพุตแบบคงที่สำหรับเอาต์พุตแบบคงที่ มีประโยชน์ในการแก้ปัญหาการจำแนกประเภทแบบคงที่ เช่น การรู้จำอักขระด้วยแสง
การแพร่กระจายกลับซ้ำ
การแพร่กระจายกลับซ้ำในการขุดข้อมูลจะถูกป้อนไปข้างหน้าจนกว่าจะได้ค่าคงที่ หลังจากนั้นข้อผิดพลาดจะถูกคำนวณและแพร่กระจายไปข้างหลัง
ข้อแตกต่างที่สำคัญระหว่างทั้งสองวิธีนี้คือ: การแมปนั้นรวดเร็วในการแพร่กระจายด้านหลังแบบคงที่ ในขณะที่มันไม่คงที่ในการแพร่กระจายกลับแบบเกิดซ้ำ
ประวัติความเป็นมาของการย้อนกลับ
- ในปีพ.ศ. 1961 แนวคิดพื้นฐานของการเผยแพร่ย้อนกลับอย่างต่อเนื่องได้มาจากบริบทของทฤษฎีการควบคุมโดยเจ. เคลลี่ เฮนรี อาเธอร์ และอี. ไบรสัน
- ในปี 1969 ไบรสันและโฮได้เสนอวิธีการเพิ่มประสิทธิภาพระบบไดนามิกแบบหลายขั้นตอน
- ในปี 1974 Werbos ระบุถึงความเป็นไปได้ของการนำหลักการนี้ไปประยุกต์ใช้กับโครงข่ายประสาทเทียม
- ในปี 1982 Hopfield ได้นำแนวคิดของเขาเกี่ยวกับโครงข่ายประสาทเทียม
- ในปี 1986 ด้วยความพยายามของ David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams ทำให้การเผยแพร่ย้อนกลับได้รับการยอมรับ
- ในปี 1993 Wan เป็นคนแรกที่ชนะการประกวดการจดจำรูปแบบระดับนานาชาติด้วยความช่วยเหลือของวิธี backpropagation
ประเด็นสำคัญในการขยายพันธุ์กลับ
- ลดความซับซ้อนของโครงสร้างเครือข่ายด้วยองค์ประกอบลิงก์ถ่วงน้ำหนักที่มีผลกระทบน้อยที่สุดต่อเครือข่ายที่ได้รับการฝึกอบรม
- คุณต้องศึกษากลุ่มของค่าอินพุตและการเปิดใช้งานเพื่อพัฒนาความสัมพันธ์ระหว่างเลเยอร์อินพุตและเลเยอร์หน่วยที่ซ่อนอยู่
- ช่วยในการประเมินผลกระทบที่ตัวแปรอินพุตที่กำหนดมีต่อเอาท์พุตเครือข่าย ความรู้ที่ได้รับจากการวิเคราะห์นี้ควรแสดงเป็นกฎเกณฑ์
- การเผยแพร่กลับมีประโยชน์อย่างยิ่งสำหรับโครงข่ายประสาทเชิงลึกที่ทำงานในโครงการที่มีแนวโน้มเกิดข้อผิดพลาด เช่น การรู้จำรูปภาพหรือคำพูด
- Backpropagation ใช้ประโยชน์จากกฎลูกโซ่และกำลังช่วยให้ backpropagation ทำงานกับเอาต์พุตจำนวนเท่าใดก็ได้
แนวปฏิบัติที่ดีที่สุด Backpropagation
Backpropagation ในโครงข่ายประสาทเทียมสามารถอธิบายได้ด้วยความช่วยเหลือของการเปรียบเทียบ "Shoe Lace"
เครียดน้อยไป =.
- ข้อจำกัดไม่เพียงพอและหลวมมาก
เครียดมาก =.
- ข้อจำกัดมากเกินไป (overtraining)
- ใช้เวลามากเกินไป (กระบวนการค่อนข้างช้า)
- มีโอกาสแตกหักสูง
ดึงเชือกมากกว่าอันหนึ่ง =
- รู้สึกไม่สบาย (อคติ)
ข้อเสียของการใช้ Backpropagation
- ประสิทธิภาพที่แท้จริงของการเผยแพร่ย้อนกลับในปัญหาเฉพาะนั้นขึ้นอยู่กับข้อมูลอินพุต
- อัลกอริธึมการแพร่กระจายกลับในการทำเหมืองข้อมูลค่อนข้างไวต่อข้อมูลที่มีเสียงดัง
- คุณต้องใช้วิธีการแบบอิงเมทริกซ์สำหรับการแพร่กระจายกลับแทนมินิแบทช์
สรุป
- โครงข่ายประสาทเทียมคือกลุ่มของหน่วย I/O ที่เชื่อมต่อกัน โดยแต่ละการเชื่อมต่อมีน้ำหนักที่เกี่ยวข้องกับโปรแกรมคอมพิวเตอร์
- Backpropagation เป็นรูปแบบย่อของ "การเผยแพร่ข้อผิดพลาดแบบย้อนกลับ" เป็นวิธีมาตรฐานในการฝึกโครงข่ายประสาทเทียม
- อัลกอริธึมการแพร่กระจายกลับใน เรียนรู้เครื่อง รวดเร็ว ง่ายดาย และง่ายต่อการตั้งโปรแกรม
- เครือข่าย BPN feedforward คือโครงข่ายประสาทเทียม
- เครือข่าย Backpropagation สองประเภทคือ 1) Backpropagation แบบคงที่ 2) Backpropagation ซ้ำ
- ในปีพ.ศ. 1961 แนวคิดพื้นฐานของการเผยแพร่ย้อนกลับอย่างต่อเนื่องได้มาจากบริบทของทฤษฎีการควบคุมโดยเจ. เคลลี่ เฮนรี อาเธอร์ และอี. ไบรสัน
- การขยายพันธุ์กลับใน การทำเหมืองข้อมูล ลดความซับซ้อนของโครงสร้างเครือข่ายโดยการลบลิงก์ถ่วงน้ำหนักที่มีผลกระทบน้อยที่สุดต่อเครือข่ายที่ได้รับการฝึกอบรม
- มีประโยชน์อย่างยิ่งสำหรับโครงข่ายประสาทเชิงลึกที่ทำงานในโครงการที่มีแนวโน้มเกิดข้อผิดพลาด เช่น การรู้จำรูปภาพหรือคำพูด
- ข้อเสียเปรียบที่ใหญ่ที่สุดของ Backpropagation คือ อาจมีความไวต่อข้อมูลที่มีสัญญาณรบกวน