การขยายพันธุ์กลับในโครงข่ายประสาทเทียม: อัลกอริธึมการเรียนรู้ของเครื่อง

ก่อนที่เราจะเรียนรู้ Back Propagation Neural Network (BPNN) มาทำความเข้าใจกันก่อน:

โครงข่ายประสาทเทียมคืออะไร?

โครงข่ายประสาทเทียมคือกลุ่มของหน่วย I/O ที่เชื่อมต่อ โดยแต่ละการเชื่อมต่อมีน้ำหนักที่เกี่ยวข้องกับโปรแกรมคอมพิวเตอร์ ช่วยให้คุณสร้างแบบจำลองการคาดการณ์จากฐานข้อมูลขนาดใหญ่ โมเดลนี้สร้างขึ้นจากระบบประสาทของมนุษย์ ช่วยให้คุณดำเนินการทำความเข้าใจภาพ การเรียนรู้ของมนุษย์ คำพูดของคอมพิวเตอร์ ฯลฯ

Backpropagation คืออะไร?

การขยายพันธุ์หลัง คือหัวใจสำคัญของการฝึกอบรมโครงข่ายประสาทเทียม เป็นวิธีการปรับน้ำหนักของโครงข่ายประสาทเทียมอย่างละเอียดตามอัตราข้อผิดพลาดที่ได้รับในยุคก่อนหน้า (เช่น การวนซ้ำ) การปรับตุ้มน้ำหนักอย่างเหมาะสมจะช่วยลดอัตราข้อผิดพลาดและทำให้แบบจำลองมีความน่าเชื่อถือโดยการเพิ่มลักษณะทั่วไป

Backpropagation ในโครงข่ายประสาทเทียมเป็นรูปแบบย่อของ “การเผยแพร่ข้อผิดพลาดแบบย้อนกลับ” เป็นวิธีมาตรฐานในการฝึกโครงข่ายประสาทเทียม วิธีการนี้จะช่วยคำนวณความชันของฟังก์ชันการสูญเสียโดยคำนึงถึงน้ำหนักทั้งหมดในเครือข่าย

วิธีการทำงานของอัลกอริทึม Backpropagation

อัลกอริธึมการแพร่กระจายย้อนกลับในเครือข่ายประสาทจะคำนวณการไล่ระดับของฟังก์ชันการสูญเสียสำหรับน้ำหนักเดียวโดยใช้กฎลูกโซ่ โดยจะคำนวณทีละชั้นอย่างมีประสิทธิภาพ ซึ่งแตกต่างจากการคำนวณโดยตรงแบบดั้งเดิม อัลกอริธึมจะคำนวณการไล่ระดับ แต่จะไม่ระบุว่าจะใช้การไล่ระดับอย่างไร อัลกอริธึมจะสรุปการคำนวณในกฎเดลต้า

ลองพิจารณาแผนภาพตัวอย่างเครือข่ายประสาทเทียมแบบแพร่กระจายกลับต่อไปนี้เพื่อทำความเข้าใจ:

อัลกอริธึมการถ่ายทอดกลับ
วิธีการทำงานของอัลกอริทึม Backpropagation
  1. อินพุต X มาถึงผ่านเส้นทางที่เชื่อมต่อไว้ล่วงหน้า
  2. อินพุตถูกสร้างแบบจำลองโดยใช้น้ำหนักจริง W โดยปกติแล้วน้ำหนักจะถูกเลือกแบบสุ่ม
  3. คำนวณเอาต์พุตสำหรับเซลล์ประสาททุกตัวตั้งแต่เลเยอร์อินพุต เลเยอร์ที่ซ่อนอยู่ ไปจนถึงเลเยอร์เอาท์พุต
  4. คำนวณข้อผิดพลาดในผลลัพธ์
ErrorB= Actual Output – Desired Output
  1. เดินทางกลับจากเลเยอร์เอาต์พุตไปยังเลเยอร์ที่ซ่อนอยู่เพื่อปรับน้ำหนักเพื่อลดข้อผิดพลาด

ทำซ้ำขั้นตอนต่อไปจนกว่าจะได้ผลลัพธ์ที่ต้องการ

ทำไมเราต้องมีการขยายพันธุ์กลับ?

ข้อดีที่โดดเด่นที่สุดของ Backpropagation คือ:

  • Backpropagation นั้นรวดเร็ว ง่ายดาย และง่ายต่อการตั้งโปรแกรม
  • ไม่มีพารามิเตอร์ในการปรับแต่งนอกเหนือจากจำนวนอินพุต
  • เป็นวิธีที่ยืดหยุ่นเนื่องจากไม่จำเป็นต้องมีความรู้เกี่ยวกับเครือข่ายมาก่อน
  • เป็นวิธีมาตรฐานที่ใช้ได้ผลดีโดยทั่วไป
  • ไม่จำเป็นต้องกล่าวถึงคุณลักษณะของฟังก์ชันเป็นพิเศษเพื่อเรียนรู้

เครือข่าย Feed Forward คืออะไร?

โครงข่ายประสาทเทียมแบบป้อนไปข้างหน้าคือโครงข่ายประสาทเทียมที่โหนดไม่เคยสร้างวงจร โครงข่ายประสาทเทียมประเภทนี้มีเลเยอร์อินพุต เลเยอร์ที่ซ่อนอยู่ และเลเยอร์เอาท์พุต เป็นโครงข่ายประสาทเทียมชนิดแรกและง่ายที่สุด

ประเภทของเครือข่าย Backpropagation

เครือข่าย Backpropagation สองประเภทคือ:

  • การแพร่กระจายกลับแบบคงที่
  • การแพร่กระจายกลับซ้ำ

การแพร่กระจายกลับแบบคงที่

เป็นเครือข่าย backpropagation ประเภทหนึ่งที่สร้างการแมปอินพุตแบบคงที่สำหรับเอาต์พุตแบบคงที่ มีประโยชน์ในการแก้ปัญหาการจำแนกประเภทแบบคงที่ เช่น การรู้จำอักขระด้วยแสง

การแพร่กระจายกลับซ้ำ

การแพร่กระจายกลับซ้ำในการขุดข้อมูลจะถูกป้อนไปข้างหน้าจนกว่าจะได้ค่าคงที่ หลังจากนั้นข้อผิดพลาดจะถูกคำนวณและแพร่กระจายไปข้างหลัง

ข้อแตกต่างที่สำคัญระหว่างทั้งสองวิธีนี้คือ: การแมปนั้นรวดเร็วในการแพร่กระจายด้านหลังแบบคงที่ ในขณะที่มันไม่คงที่ในการแพร่กระจายกลับแบบเกิดซ้ำ

ประวัติความเป็นมาของการย้อนกลับ

  • ในปีพ.ศ. 1961 แนวคิดพื้นฐานของการเผยแพร่ย้อนกลับอย่างต่อเนื่องได้มาจากบริบทของทฤษฎีการควบคุมโดยเจ. เคลลี่ เฮนรี อาเธอร์ และอี. ไบรสัน
  • ในปี 1969 ไบรสันและโฮได้เสนอวิธีการเพิ่มประสิทธิภาพระบบไดนามิกแบบหลายขั้นตอน
  • ในปี 1974 Werbos ระบุถึงความเป็นไปได้ของการนำหลักการนี้ไปประยุกต์ใช้กับโครงข่ายประสาทเทียม
  • ในปี 1982 Hopfield ได้นำแนวคิดของเขาเกี่ยวกับโครงข่ายประสาทเทียม
  • ในปี 1986 ด้วยความพยายามของ David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams ทำให้การเผยแพร่ย้อนกลับได้รับการยอมรับ
  • ในปี 1993 Wan เป็นคนแรกที่ชนะการประกวดการจดจำรูปแบบระดับนานาชาติด้วยความช่วยเหลือของวิธี backpropagation

ประเด็นสำคัญในการขยายพันธุ์กลับ

  • ลดความซับซ้อนของโครงสร้างเครือข่ายด้วยองค์ประกอบลิงก์ถ่วงน้ำหนักที่มีผลกระทบน้อยที่สุดต่อเครือข่ายที่ได้รับการฝึกอบรม
  • คุณต้องศึกษากลุ่มของค่าอินพุตและการเปิดใช้งานเพื่อพัฒนาความสัมพันธ์ระหว่างเลเยอร์อินพุตและเลเยอร์หน่วยที่ซ่อนอยู่
  • ช่วยในการประเมินผลกระทบที่ตัวแปรอินพุตที่กำหนดมีต่อเอาท์พุตเครือข่าย ความรู้ที่ได้รับจากการวิเคราะห์นี้ควรแสดงเป็นกฎเกณฑ์
  • การเผยแพร่กลับมีประโยชน์อย่างยิ่งสำหรับโครงข่ายประสาทเชิงลึกที่ทำงานในโครงการที่มีแนวโน้มเกิดข้อผิดพลาด เช่น การรู้จำรูปภาพหรือคำพูด
  • Backpropagation ใช้ประโยชน์จากกฎลูกโซ่และกำลังช่วยให้ backpropagation ทำงานกับเอาต์พุตจำนวนเท่าใดก็ได้

แนวปฏิบัติที่ดีที่สุด Backpropagation

Backpropagation ในโครงข่ายประสาทเทียมสามารถอธิบายได้ด้วยความช่วยเหลือของการเปรียบเทียบ "Shoe Lace"

เครียดน้อยไป =.

  • ข้อจำกัดไม่เพียงพอและหลวมมาก

เครียดมาก =.

  • ข้อจำกัดมากเกินไป (overtraining)
  • ใช้เวลามากเกินไป (กระบวนการค่อนข้างช้า)
  • มีโอกาสแตกหักสูง

ดึงเชือกมากกว่าอันหนึ่ง =

  • รู้สึกไม่สบาย (อคติ)

ข้อเสียของการใช้ Backpropagation

  • ประสิทธิภาพที่แท้จริงของการเผยแพร่ย้อนกลับในปัญหาเฉพาะนั้นขึ้นอยู่กับข้อมูลอินพุต
  • อัลกอริธึมการแพร่กระจายกลับในการทำเหมืองข้อมูลค่อนข้างไวต่อข้อมูลที่มีเสียงดัง
  • คุณต้องใช้วิธีการแบบอิงเมทริกซ์สำหรับการแพร่กระจายกลับแทนมินิแบทช์

สรุป

  • โครงข่ายประสาทเทียมคือกลุ่มของหน่วย I/O ที่เชื่อมต่อกัน โดยแต่ละการเชื่อมต่อมีน้ำหนักที่เกี่ยวข้องกับโปรแกรมคอมพิวเตอร์
  • Backpropagation เป็นรูปแบบย่อของ "การเผยแพร่ข้อผิดพลาดแบบย้อนกลับ" เป็นวิธีมาตรฐานในการฝึกโครงข่ายประสาทเทียม
  • อัลกอริธึมการแพร่กระจายกลับใน เรียนรู้เครื่อง รวดเร็ว ง่ายดาย และง่ายต่อการตั้งโปรแกรม
  • เครือข่าย BPN feedforward คือโครงข่ายประสาทเทียม
  • เครือข่าย Backpropagation สองประเภทคือ 1) Backpropagation แบบคงที่ 2) Backpropagation ซ้ำ
  • ในปีพ.ศ. 1961 แนวคิดพื้นฐานของการเผยแพร่ย้อนกลับอย่างต่อเนื่องได้มาจากบริบทของทฤษฎีการควบคุมโดยเจ. เคลลี่ เฮนรี อาเธอร์ และอี. ไบรสัน
  • การขยายพันธุ์กลับใน การทำเหมืองข้อมูล ลดความซับซ้อนของโครงสร้างเครือข่ายโดยการลบลิงก์ถ่วงน้ำหนักที่มีผลกระทบน้อยที่สุดต่อเครือข่ายที่ได้รับการฝึกอบรม
  • มีประโยชน์อย่างยิ่งสำหรับโครงข่ายประสาทเชิงลึกที่ทำงานในโครงการที่มีแนวโน้มเกิดข้อผิดพลาด เช่น การรู้จำรูปภาพหรือคำพูด
  • ข้อเสียเปรียบที่ใหญ่ที่สุดของ Backpropagation คือ อาจมีความไวต่อข้อมูลที่มีสัญญาณรบกวน