การเรียนรู้แบบเสริมแรงคืออะไร? ประเภทต่างๆ Algorithms & ตัวอย่าง
เอเวลิน คลาร์ก
⚡ สรุปอย่างชาญฉลาด
การเรียนรู้แบบเสริมแรง (Reinforcement Learning) เป็นวิธีการเรียนรู้ของเครื่องจักรที่ตัวแทนซอฟต์แวร์เรียนรู้โดยการกระทำภายในสภาพแวดล้อม สะสมรางวัลหรือบทลงโทษ และปรับพฤติกรรมเพื่อเพิ่มรางวัลสะสมให้สูงสุดในหลายขั้นตอน
การเรียนรู้การเสริมแรงคืออะไร?
การเรียนรู้เสริมแรง คือ เครื่องเรียนรู้ วิธีการนี้เกี่ยวข้องกับวิธีที่ซอฟต์แวร์เอเจนต์ควรดำเนินการในสภาพแวดล้อม เอเจนต์จะไม่เห็นคำตอบที่ถูกต้องโดยตรง แต่จะเรียนรู้จากรางวัลที่ได้รับและปรับพฤติกรรมเพื่อเพิ่มรางวัลสะสมให้สูงสุด
การเรียนรู้แบบเสริมแรง (Reinforcement Learning) เป็นสาขาหนึ่งของแมชชีนเลิร์นนิงโดยเฉพาะ ควบคู่ไปกับ... ภายใต้การดูแล และ ไม่ได้รับการดูแล การเรียนรู้ เมื่อนโยบายหรือฟังก์ชันค่าของเอเจนต์ถูกแทนด้วยโครงข่ายประสาทเทียม การรวมกันนี้เรียกว่า การเรียนรู้การเสริมแรงอย่างล้ำลึก — การจับคู่ดังกล่าวเป็นสิ่งที่ช่วยให้ตัวแทนสามารถบรรลุเป้าหมายที่ซับซ้อนหรือเพิ่มมิติเฉพาะด้านให้สูงสุดได้ในหลายขั้นตอน
องค์ประกอบสำคัญของวิธีการเรียนรู้แบบเสริมแรง
ก่อนที่อัลกอริธึมจะมีความหมาย เราควรตั้งชื่อส่วนประกอบต่างๆ ก่อน แผนภาพด้านล่างแสดงให้เห็นว่าเอเจนต์ สภาพแวดล้อม การกระทำ และสัญญาณรางวัล ทำงานร่วมกันอย่างไรในวงจรเดียว
ต่อไปนี้เป็นคำศัพท์สำคัญบางส่วนที่ใช้ในการเรียนรู้แบบเสริมแรง:
- ตัวแทน: หน่วยงานที่กระทำการใดๆ ในสภาพแวดล้อมเพื่อหวังผลตอบแทนบางอย่าง
- สิ่งแวดล้อม (จ): สถานการณ์ที่ตัวแทนต้องเผชิญ
- รางวัล (R): ผลตอบแทนทันทีที่มอบให้แก่ตัวแทนเมื่อตัวแทนดำเนินการหรือปฏิบัติงานเฉพาะอย่างใดอย่างหนึ่งเสร็จสิ้น
- รัฐ: รัฐหมายถึงสถานการณ์ปัจจุบันที่สิ่งแวดล้อมส่งคืน
- นโยบาย (π): กลยุทธ์ที่ตัวแทนใช้ในการตัดสินใจว่าควรดำเนินการอย่างไรต่อไป โดยพิจารณาจากสถานะปัจจุบัน
- ค่า (V): ผลตอบแทนระยะยาวที่คาดหวังโดยหักส่วนลดแล้ว เมื่อเทียบกับผลตอบแทนระยะสั้น
- ฟังก์ชันค่า: เป็นการระบุค่าของสถานะ ซึ่งก็คือจำนวนรางวัลทั้งหมดที่ตัวแทนสามารถคาดหวังว่าจะได้รับเริ่มต้นจากสถานะนั้น
- แบบจำลองสภาพแวดล้อม: วิธีการนี้จำลองพฤติกรรมของสภาพแวดล้อม ทำให้คุณสามารถอนุมานและกำหนดพฤติกรรมของสภาพแวดล้อมได้
- วิธีการตามแบบจำลอง: วิธีการที่ใช้แก้ปัญหาการเรียนรู้แบบเสริมแรงโดยเริ่มจากการเรียนรู้หรือใช้แบบจำลองของสภาพแวดล้อมก่อน จากนั้นจึงวางแผนรับมือกับแบบจำลองนั้น
- ค่า Q หรือค่าการกระทำ (Q): ค่า Q ค่อนข้างคล้ายกับค่าอื่นๆ ความแตกต่างเพียงอย่างเดียวคือ ค่า Q รับพารามิเตอร์เพิ่มเติมอีกหนึ่งตัว ซึ่งก็คือการกระทำในปัจจุบัน
การเรียนรู้แบบเสริมกำลังทำงานอย่างไร
การยกตัวอย่างเปรียบเทียบในชีวิตประจำวันทำให้เข้าใจกลไกได้ชัดเจนก่อนที่จะมีการเขียนสัญลักษณ์ใดๆ ลงไป
ลองนึกถึงสถานการณ์ที่คุณกำลังสอนแมวของคุณให้ทำท่าทางใหม่ๆ ดูสิ
- เนื่องจากแมวไม่เข้าใจภาษาอังกฤษหรือภาษาอื่นใดของมนุษย์ เราจึงไม่สามารถบอกมันโดยตรงว่าควรทำอะไรได้ ดังนั้นเราจึงต้องใช้วิธีอื่นแทน
- เราจำลองสถานการณ์หนึ่งขึ้นมา และแมวจะพยายามตอบสนองในหลายๆ วิธี ถ้าการตอบสนองของแมวเป็นไปตามที่เราต้องการ เราก็จะให้ปลาแก่แมว
- ตอนนี้เมื่อใดก็ตามที่แมวเผชิญกับสถานการณ์เดิม มันจะแสดงพฤติกรรมเดิมซ้ำๆ ด้วยความกระตือรือร้นยิ่งขึ้น โดยหวังว่าจะได้รับรางวัล (อาหาร) มากขึ้น
- นั่นคือการเรียนรู้ที่แมวได้รับเกี่ยวกับ "สิ่งที่ควรทำ" จากประสบการณ์เชิงบวก
- ในขณะเดียวกัน แมวก็เรียนรู้ว่าไม่ควรทำอะไรเมื่อเผชิญกับประสบการณ์ที่ไม่ดีด้วย
ตัวอย่างการเรียนรู้แบบเสริมกำลัง
รูปด้านล่างแสดงแผนที่เรื่องราวของแมวลงบนวงจรอย่างเป็นทางการ โดยมีบ้านเป็นสภาพแวดล้อมและปลาเป็นรางวัล
ในกรณีนี้,
- แมวของคุณเป็นตัวแทนที่สัมผัสกับสิ่งแวดล้อม ในกรณีนี้คือบ้านของคุณ ตัวอย่างของสถานะหนึ่งอาจเป็นแมวของคุณนั่งอยู่ และคุณใช้คำพูดเฉพาะเจาะจงเพื่อให้แมวเดิน
- ตัวแทนของเราตอบสนองโดยการดำเนินการเปลี่ยนจาก "สถานะ" หนึ่งไปยัง "สถานะ" อื่น
- ตัวอย่างเช่น แมวของคุณเปลี่ยนจากนั่งเป็นเดิน
- ปฏิกิริยาของตัวแทนคือการกระทำ และนโยบายคือวิธีการเลือกการกระทำโดยคาดหวังผลลัพธ์ที่ดีกว่า
- หลังจากช่วงเปลี่ยนผ่าน ตัวแทนอาจได้รับรางวัลหรือบทลงโทษเป็นการตอบแทน
การเรียนรู้เสริมแรง Algorithms
มีแนวทางสามวิธีในการนำอัลกอริธึมการเรียนรู้แบบเสริมแรงไปใช้ ซึ่งแตกต่างกันหลักๆ ในสิ่งที่เอเจนต์จัดเก็บและเรียนรู้
ตามมูลค่า
ในวิธีการเรียนรู้แบบเสริมแรงที่เน้นคุณค่า คุณพยายามเพิ่มค่าฟังก์ชัน V(s) ให้สูงสุด ในวิธีการนี้ ตัวแทนคาดหวังผลตอบแทนระยะยาวของสถานะปัจจุบันภายใต้นโยบาย π
ตามนโยบาย
ในวิธีการเรียนรู้แบบเสริมแรงโดยอิงตามนโยบาย คุณพยายามคิดค้นนโยบายที่ทำให้การกระทำในแต่ละสถานะช่วยให้คุณได้รับรางวัลสูงสุดในอนาคต
วิธีการตามนโยบายสองประเภท ได้แก่:
- กำหนด: สำหรับสถานะใดๆ การกระทำเดียวกันจะเกิดขึ้นจากนโยบาย π
- สุ่ม: ทุกการกระทำย่อมมีโอกาสเกิดขึ้นได้ ซึ่งกำหนดโดยสมการต่อไปนี้
นโยบายแบบสุ่ม:
π(a|s) = P[At = a | St = s]
ตามรุ่น
ในวิธีการเรียนรู้แบบเสริมแรงนี้ คุณจะสร้างแบบจำลองเสมือนสำหรับแต่ละสภาพแวดล้อม ตัวแทนจะเรียนรู้ที่จะทำงานในสภาพแวดล้อมเฉพาะนั้นๆ
ลักษณะของการเรียนรู้แบบเสริมกำลัง
ต่อไปนี้คือลักษณะสำคัญของการเรียนรู้แบบเสริมแรง:
- ไม่มีผู้ดูแล มีเพียงตัวเลขจริงหรือสัญญาณรางวัลเท่านั้น
- การตัดสินใจตามลำดับ
- เวลามีบทบาทสำคัญในปัญหาการเสริมกำลัง
- โดยทั่วไปแล้ว การตอบรับมักจะล่าช้ามากกว่าที่จะเกิดขึ้นทันที
- การดำเนินการของตัวแทนจะกำหนดข้อมูลที่ตามมาที่ได้รับ
ประเภทของการเรียนรู้การเสริมแรง
คำว่า “การเสริมแรง” ยืมมาจากจิตวิทยาพฤติกรรม และมีอยู่สองรูปแบบ:
บวก:
นิยามของมันคือเหตุการณ์ที่เกิดขึ้นเนื่องจากพฤติกรรมเฉพาะอย่างใดอย่างหนึ่ง มันจะเพิ่มความรุนแรงและความถี่ของพฤติกรรมนั้น และส่งผลในเชิงบวกต่อการกระทำของผู้กระทำ
การเสริมแรงในลักษณะนี้ช่วยให้คุณเพิ่มประสิทธิภาพสูงสุดและรักษาการเปลี่ยนแปลงไว้ได้นานขึ้น อย่างไรก็ตาม การเสริมแรงมากเกินไปอาจนำไปสู่การปรับสถานะให้เหมาะสมที่สุดมากเกินไป ซึ่งอาจส่งผลต่อผลลัพธ์ได้
เชิงลบ:
การเสริมแรงเชิงลบ หมายถึง การเสริมสร้างพฤติกรรมที่เกิดขึ้นเนื่องจากสภาวะเชิงลบซึ่งควรจะถูกหยุดหรือหลีกเลี่ยง วิธีนี้ช่วยกำหนดมาตรฐานขั้นต่ำของพฤติกรรมได้ อย่างไรก็ตาม ข้อเสียของวิธีนี้คือ มันให้ผลเพียงพอที่จะบรรลุพฤติกรรมขั้นต่ำเท่านั้น
รูปแบบการเรียนรู้ของการเสริมแรง
มีสองรูปแบบการเรียนรู้ที่สำคัญในการเรียนรู้แบบเสริมกำลัง:
- กระบวนการตัดสินใจของมาร์คอฟ
- การเรียนรู้คิว
กระบวนการตัดสินใจของมาร์คอฟ
พารามิเตอร์ต่อไปนี้ใช้เพื่อรับโซลูชัน:
- ชุดของการกระทำ – ก.
- ชุดของรัฐ – S
- รางวัล – R
- นโยบาย – π
- ค่า – V
วิธีการทางคณิตศาสตร์สำหรับการสร้างแผนที่ping ใน Reinforcement Learning นั้น วิธีแก้ปัญหาอย่างหนึ่งถูกกำหนดให้เป็นรูปแบบกระบวนการตัดสินใจแบบมาร์คอฟ (Markov Decision Process หรือ MDP) แผนภาพด้านล่างแสดงให้เห็นพารามิเตอร์ทั้งห้าที่เชื่อมต่อเข้ากับวงจรเอเจนต์-สภาพแวดล้อมเดียวกัน
Q-การเรียนรู้
การเรียนรู้แบบ Q-learning เป็นวิธีการให้ข้อมูลโดยอิงตามคุณค่า ซึ่งจะบอกตัวแทน (agent) ว่าควรดำเนินการอย่างไร
เรามาทำความเข้าใจวิธีการนี้ด้วยตัวอย่างต่อไปนี้กัน:
- ในอาคารมีห้องห้าห้องที่เชื่อมต่อกันด้วยประตู
- แต่ละห้องมีหมายเลขตั้งแต่ 0 ถึง 4
- ภายนอกอาคารสามารถถือเป็นพื้นที่ภายนอกขนาดใหญ่ได้ (5)
- ประตูหมายเลข 1 และ 4 เดินเข้าไปในอาคารจากห้อง 5
แผนผังด้านล่างแสดงหมายเลขห้องและประตูที่เชื่อมต่อห้องต่างๆ
ขั้นตอนต่อไป คุณต้องกำหนดมูลค่ารางวัลให้กับประตูแต่ละบาน:
- ประตูที่นำไปสู่เป้าหมายโดยตรงจะได้รับรางวัล 100
- ประตูที่ไม่ได้เชื่อมต่อโดยตรงกับห้องเป้าหมายจะไม่ได้รับรางวัลใดๆ
- เนื่องจากประตูเป็นแบบสองทาง จึงมีการกำหนดลูกศรสองอันสำหรับแต่ละห้อง
- ลูกศรทุกอันในภาพด้านบนมีค่ารางวัลทันที
คำอธิบาย: ในภาพนี้ ห้องแต่ละห้องแทนสถานะหนึ่ง และการเคลื่อนที่ของตัวละครจากห้องหนึ่งไปยังอีกห้องหนึ่งแทนการกระทำหนึ่ง
ในกราฟด้านล่าง สถานะจะถูกวาดเป็นโหนด ในขณะที่ลูกศรแสดงถึงการกระทำที่สามารถทำได้และรางวัลที่เกี่ยวข้องกับการกระทำแต่ละอย่าง
ตัวอย่างเช่น เจ้าหน้าที่เดินทางจากห้องหมายเลข 2 ไปยังห้องหมายเลข 5:
- สถานะเริ่มต้น = สถานะ 2
- รัฐ 2 -> รัฐ 3
- สถานะ 3 -> สถานะ (2,1,4)
- สถานะ 4-> สถานะ (0,5,3)
- สถานะ 1-> สถานะ (5,3)
- รัฐ 0 -> รัฐ 4
การเรียนรู้แบบเสริมกำลังกับการเรียนรู้แบบมีผู้สอน
วิธีที่ชัดเจนที่สุดในการอธิบายการเรียนรู้แบบเสริมแรง (Reinforcement Learning) คือการนำไปเปรียบเทียบกับแนวคิดหลักที่ผู้อ่านส่วนใหญ่รู้จักอยู่แล้ว
| พารามิเตอร์ | การเรียนรู้เสริมแรง | การเรียนรู้ภายใต้การดูแล |
|---|---|---|
| รูปแบบการตัดสินใจ | การเรียนรู้แบบเสริมแรงช่วยให้คุณตัดสินใจได้อย่างเป็นลำดับขั้นตอน | ในวิธีนี้ จะทำการตัดสินใจเกี่ยวกับอินพุตที่ให้ไว้ตั้งแต่ต้น |
| ทำงานบน | ทำงานโดยการมีปฏิสัมพันธ์กับสิ่งแวดล้อม | ทำงานกับตัวอย่างหรือข้อมูลตัวอย่างที่กำหนด |
| ขึ้นอยู่กับการตัดสินใจ | ในวิธีการเรียนรู้แบบเสริมแรง (RL) การตัดสินใจในการเรียนรู้แต่ละครั้งจะขึ้นอยู่กับการตัดสินใจก่อนหน้า ดังนั้นลำดับของการตัดสินใจทั้งหมดจึงเป็นสิ่งที่ได้รับการประเมิน | In การเรียนรู้ภายใต้การดูแล การตัดสินใจแต่ละครั้งเป็นอิสระต่อกัน ดังนั้นจึงมีการกำหนดป้ายกำกับให้กับการตัดสินใจแต่ละครั้ง |
| เหมาะที่สุด | รองรับและทำงานได้ดียิ่งขึ้นในระบบ AI ที่มีการปฏิสัมพันธ์กับมนุษย์อย่างแพร่หลาย | โดยส่วนใหญ่ใช้งานด้วยระบบซอฟต์แวร์หรือแอปพลิเคชันแบบโต้ตอบ |
| ตัวอย่าง | เกมหมากรุก | การรับรู้วัตถุ |
การประยุกต์ใช้การเรียนรู้การเสริมแรง
นี่คือการประยุกต์ใช้การเรียนรู้แบบเสริมกำลัง:
- หุ่นยนต์สำหรับระบบอัตโนมัติทางอุตสาหกรรม
- การวางแผนกลยุทธ์ทางธุรกิจ
- การเรียนรู้ของเครื่องจักรและการประมวลผลข้อมูล
- ช่วยให้คุณสร้างระบบการฝึกอบรมที่ให้คำแนะนำและสื่อการเรียนการสอนที่ปรับแต่งได้ตามความต้องการของนักเรียน
- การควบคุมเครื่องบินและการควบคุมการเคลื่อนไหวของหุ่นยนต์
เหตุใดจึงต้องใช้การเรียนรู้แบบเสริมกำลัง
ต่อไปนี้เป็นเหตุผลสำคัญสำหรับการใช้ Reinforcement Learning:
- ช่วยให้คุณค้นหาสถานการณ์ที่ต้องการการดำเนินการได้
- ช่วยให้คุณค้นพบว่าการกระทำใดให้ผลตอบแทนสูงสุดในระยะยาว
- การเรียนรู้แบบเสริมแรงยังมอบฟังก์ชันการให้รางวัลแก่ตัวแทนการเรียนรู้ด้วย
- นอกจากนี้ยังช่วยให้ตัวแทนสามารถหาวิธีที่ดีที่สุดในการได้รับรางวัลจำนวนมากได้อีกด้วย
เมื่อใดที่ไม่ควรใช้การเรียนรู้แบบเสริมกำลัง?
คุณไม่สามารถใช้โมเดลการเรียนรู้แบบเสริมแรงได้ในทุกสถานการณ์ นี่คือบางสถานการณ์ที่คุณไม่ควรใช้โมเดลนี้
- เมื่อคุณมีข้อมูลที่มีป้ายกำกับเพียงพอที่จะแก้ปัญหาด้วยวิธีการเรียนรู้แบบมีผู้กำกับดูแล
- การเรียนรู้แบบเสริมแรงนั้นต้องใช้พลังประมวลผลสูงและใช้เวลานาน โดยเฉพาะอย่างยิ่งเมื่อพื้นที่การกระทำมีขนาดใหญ่
ความท้าทายของการเรียนรู้แบบเสริมกำลัง
ต่อไปนี้คือความท้าทายหลักๆ ที่คุณจะพบเจอขณะทำการเรียนรู้แบบเสริมแรง:
- การออกแบบฟีเจอร์และรางวัล ซึ่งอาจมีความซับซ้อนมาก
- พารามิเตอร์อาจส่งผลต่อความเร็วในการเรียนรู้
- สภาพแวดล้อมที่สมจริงสามารถสังเกตได้บางส่วน
- การให้รางวัลมากเกินไปอาจนำไปสู่ภาวะที่มากเกินไปของสภาวะต่างๆ ซึ่งอาจทำให้ผลลัพธ์ลดลงได้
- สภาพแวดล้อมที่สมจริงอาจไม่คงที่
