Học tăng cường là gì? Các loại, Algorithms & Ví dụ

Học tăng cường là gì?

Học tăng cường là một Machine Learning Phương pháp này liên quan đến cách các tác nhân phần mềm nên hành động trong một môi trường. Tác nhân không được hiển thị câu trả lời đúng; nó học hỏi từ phần thưởng nhận được và điều chỉnh hành vi của mình để tối đa hóa phần thưởng tích lũy.

Học tăng cường (Reinforcement Learning) là một nhánh riêng biệt của học máy, bên cạnh... giám sát và không giám sát học tập. Khi chính sách hoặc hàm giá trị của tác nhân được biểu diễn bằng mạng nơ-ron, sự kết hợp này được gọi là học tập. học tập củng cố sâu — Sự kết hợp đó cho phép một tác nhân đạt được mục tiêu phức tạp hoặc tối đa hóa một khía cạnh cụ thể qua nhiều bước.

Các thành phần quan trọng của phương pháp học tăng cường

Trước khi hiểu được các thuật toán, việc đặt tên cho các thành phần là rất hữu ích. Sơ đồ bên dưới cho thấy tác nhân, môi trường, hành động và tín hiệu phần thưởng kết hợp với nhau như thế nào trong một vòng lặp.

Dưới đây là một số thuật ngữ quan trọng được sử dụng trong Học tăng cường:

• Đại lý: Là thực thể thực hiện các hành động trong một môi trường để đạt được một số phần thưởng.
• Môi trường (e): Một tình huống mà một đặc vụ phải đối mặt.
• Phần thưởng (R): Lợi ích tức thì được trả cho một tác nhân khi nó thực hiện một hành động hoặc nhiệm vụ cụ thể.
• Những trạng thái): Trạng thái đề cập đến tình hình hiện tại được môi trường trả về.
• Chính sách (π): Chiến lược mà tác nhân áp dụng để quyết định hành động tiếp theo dựa trên trạng thái hiện tại.
• Giá trị (V): Lợi nhuận dài hạn dự kiến ​​sau khi trừ đi chiết khấu, so với lợi nhuận ngắn hạn.
• Hàm giá trị: Nó chỉ định giá trị của một trạng thái, tức là tổng số phần thưởng mà một tác nhân có thể kỳ vọng tích lũy được bắt đầu từ trạng thái đó.
• Mô hình môi trường: Điều này mô phỏng hành vi của môi trường. Nó cho phép bạn suy luận và cũng xác định cách môi trường sẽ hoạt động.
• Các phương pháp dựa trên mô hình: Các phương pháp giải quyết bài toán học tăng cường bằng cách trước tiên học hoặc sử dụng mô hình môi trường, sau đó lập kế hoạch dựa trên mô hình đó.
• Giá trị Q hoặc giá trị hành động (Q): Giá trị Q khá giống với giá trị thông thường. Sự khác biệt duy nhất giữa hai giá trị này là nó nhận thêm một tham số, đó là hành động hiện tại.

Học tăng cường hoạt động như thế nào?

Một ví dụ tương tự quen thuộc giúp làm rõ cơ chế hoạt động trước khi bất kỳ ký hiệu nào xuất hiện.

Hãy thử tưởng tượng bạn đang dạy mèo những trò mới.

• Vì con mèo không hiểu tiếng Anh hay bất kỳ ngôn ngữ nào của con người, chúng ta không thể trực tiếp ra lệnh cho nó. Thay vào đó, chúng ta áp dụng một chiến lược khác.
• Chúng tôi tạo ra một tình huống giả định, và con mèo cố gắng phản ứng theo nhiều cách khác nhau. Nếu phản ứng của con mèo đúng như mong muốn, chúng tôi sẽ cho nó ăn cá.
• Giờ đây, mỗi khi con mèo gặp phải tình huống tương tự, nó sẽ thực hiện hành động tương tự một cách hăng hái hơn, với hy vọng nhận được nhiều phần thưởng hơn (thức ăn).
• Đó chính là bài học mà con mèo rút ra được về "những việc cần làm" từ những trải nghiệm tích cực.
• Đồng thời, con mèo cũng học được những điều không nên làm khi đối mặt với những trải nghiệm tiêu cực.

Ví dụ về học tăng cường

Hình dưới đây minh họa câu chuyện về con mèo đó vào vòng lặp hình thức, với gia đình là môi trường và con cá là phần thưởng.

Trong trường hợp này,

• Con mèo của bạn là một tác nhân chịu tác động của môi trường. Trong trường hợp này, đó là ngôi nhà của bạn. Một ví dụ về trạng thái có thể là con mèo của bạn đang ngồi, và bạn sử dụng một từ cụ thể để khiến nó đi bộ.
• Tác nhân của chúng tôi phản ứng bằng cách thực hiện chuyển đổi hành động từ “trạng thái” này sang “trạng thái” khác.
• Ví dụ, con mèo của bạn chuyển từ ngồi sang đi.
• Phản ứng của một tác nhân là một hành động và chính sách là một phương pháp lựa chọn hành động trong một trạng thái với kỳ vọng mang lại kết quả tốt hơn.
• Sau quá trình chuyển giao, người thực hiện có thể nhận được phần thưởng hoặc hình phạt tương ứng.

Học tăng cường Algorithms

Có ba cách tiếp cận để triển khai thuật toán Học tăng cường, và chúng khác nhau chủ yếu ở những gì tác nhân lưu trữ và học được.

Dựa trên giá trị

Trong phương pháp Học tăng cường dựa trên giá trị, bạn cố gắng tối đa hóa một hàm giá trị V(s). Trong phương pháp này, tác nhân kỳ vọng sẽ nhận được lợi nhuận dài hạn từ các trạng thái hiện tại theo chính sách π.

Dựa trên chính sách

Trong phương pháp học tăng cường dựa trên chính sách, bạn cố gắng đưa ra một chính sách sao cho hành động được thực hiện trong mỗi trạng thái giúp bạn đạt được phần thưởng tối đa trong tương lai.

Hai loại phương pháp dựa trên chính sách là:

• xác định: Đối với bất kỳ trạng thái nào, chính sách π đều tạo ra cùng một hành động.
• Ngẫu nhiên: Mỗi hành động đều có một xác suất nhất định, được biểu thị bằng phương trình sau.

Chính sách ngẫu nhiên:

π(a|s) = P[At = a | St = s]

Dựa trên mô hình

Trong phương pháp Học tăng cường này, bạn tạo ra một mô hình ảo cho mỗi môi trường. Tác nhân sẽ học cách hoạt động trong môi trường cụ thể đó.

Đặc điểm của học tăng cường

Dưới đây là những đặc điểm quan trọng của học tăng cường:

• Không có người giám sát, chỉ có số thực hoặc tín hiệu khen thưởng
• Ra quyết định tuần tự
• Thời gian đóng vai trò quan trọng trong bài toán Cốt thép
• Phản hồi thường bị chậm trễ chứ không phải tức thì.
• Hành động của tác nhân xác định dữ liệu tiếp theo mà nó nhận được

Các loại hình học tăng cường

Thuật ngữ “củng cố” được mượn từ tâm lý học hành vi, và nó có hai dạng:

Tích cực:

Nó được định nghĩa là một sự kiện xảy ra do một hành vi cụ thể. Nó làm tăng cường độ và tần suất của hành vi đó, đồng thời tác động tích cực đến hành động mà tác nhân thực hiện.

Loại củng cố này giúp bạn tối đa hóa hiệu suất và duy trì sự thay đổi trong thời gian dài hơn. Tuy nhiên, củng cố quá mức có thể dẫn đến tối ưu hóa quá mức trạng thái, điều này có thể ảnh hưởng đến kết quả.

Tiêu cực:

Củng cố tiêu cực được định nghĩa là sự tăng cường hành vi xảy ra do một điều kiện tiêu cực đáng lẽ phải được ngăn chặn hoặc tránh khỏi. Nó giúp bạn xác định tiêu chuẩn tối thiểu về hiệu suất. Tuy nhiên, nhược điểm của phương pháp này là nó chỉ cung cấp đủ để đáp ứng hành vi tối thiểu.

Mô hình học tập củng cố

Có hai mô hình học tập quan trọng trong học tập tăng cường:

• Quy trình quyết định Markov
• Q học

Quy trình quyết định Markov

Các thông số sau đây được sử dụng để có được giải pháp:

• Tập hợp các hành động – A
• Tập hợp các tiểu bang – S
• Phần thưởng – R
• Chính sách – π
• Giá trị – V

Phương pháp toán học cho bản đồping Trong Học Tăng Cường, một giải pháp được hình thức hóa dưới dạng Quy trình Quyết định Markov, hay MDP. Sơ đồ bên dưới cho thấy năm tham số đó được kết nối vào cùng một chu trình tác nhân-môi trường.

Q-Học

Q-learning là một phương pháp dựa trên giá trị để cung cấp thông tin, giúp tác nhân biết nên thực hiện hành động nào.

Hãy cùng hiểu phương pháp này qua ví dụ sau:

• Có năm phòng trong một tòa nhà được nối với nhau bằng cửa.
• Mỗi phòng được đánh số từ 0 đến 4.
• Phần bên ngoài của tòa nhà có thể được coi như một khu vực bên ngoài lớn (5)
• Cửa số 1 và 4 dẫn vào tòa nhà từ phòng 5

Sơ đồ mặt bằng bên dưới đánh số các phòng và chỉ ra các cửa nối giữa chúng.

Tiếp theo, bạn cần gán một giá trị phần thưởng cho mỗi cánh cửa:

• Cửa dẫn thẳng đến mục tiêu có phần thưởng 100
• Những cánh cửa không kết nối trực tiếp với phòng mục tiêu sẽ không mang lại phần thưởng nào.
• Vì cửa là cửa hai chiều, nên mỗi phòng được chỉ định hai mũi tên.
• Mỗi mũi tên trong hình ảnh trên đều mang một giá trị phần thưởng tức thì.

Giải thích: Trong hình ảnh này, mỗi căn phòng đại diện cho một trạng thái, và sự di chuyển của nhân vật từ phòng này sang phòng khác đại diện cho một hành động.

Trong biểu đồ bên dưới, mỗi trạng thái được biểu diễn bằng một nút, trong khi các mũi tên thể hiện các hành động khả dụng và phần thưởng gắn liền với mỗi hành động đó.

Ví dụ, một nhân viên di chuyển từ phòng số 2 đến phòng số 5:

• Trạng thái ban đầu = trạng thái 2
• Trạng thái 2-> trạng thái 3
• Trạng thái 3 -> trạng thái (2,1,4)
• Trạng thái 4-> trạng thái (0,5,3)
• Trạng thái 1-> trạng thái (5,3)
• Trạng thái 0-> trạng thái 4

Học tăng cường so với học có giám sát

Cách rõ ràng nhất để hiểu về Học tăng cường (Reinforcement Learning) là đặt nó bên cạnh mô hình mà hầu hết người đọc đã biết.

Các ứng dụng của học tăng cường

Dưới đây là các ứng dụng của Học tăng cường:

• Robotics cho tự động hóa công nghiệp.
• Lập kế hoạch chiến lược kinh doanh
• Học máy và xử lý dữ liệu
• Nó giúp bạn tạo ra các hệ thống đào tạo cung cấp hướng dẫn và tài liệu tùy chỉnh theo yêu cầu của học viên.
• Điều khiển máy bay và điều khiển chuyển động robot

Tại sao nên sử dụng Học tăng cường?

Dưới đây là những lý do chính để sử dụng Học tăng cường:

• Nó giúp bạn xác định tình huống nào cần hành động.
• Giúp bạn khám phá hành động nào mang lại phần thưởng cao nhất trong thời gian dài.
• Học tăng cường cũng cung cấp cho tác nhân học một hàm thưởng.
• Điều này cũng cho phép người môi giới tìm ra phương pháp tốt nhất để thu được phần thưởng lớn.

Khi nào không nên sử dụng Học tăng cường?

Bạn không thể áp dụng mô hình học tăng cường trong mọi tình huống. Dưới đây là một số trường hợp bạn không nên sử dụng mô hình này.

• Khi bạn có đủ dữ liệu được gắn nhãn để giải quyết vấn đề bằng phương pháp học có giám sát.
• Học tăng cường (Reinforcement Learning) đòi hỏi nhiều tài nguyên tính toán và thời gian, đặc biệt khi không gian hành động lớn.

Những thách thức của việc học tăng cường

Dưới đây là những thách thức chính bạn sẽ gặp phải khi thực hiện Học tăng cường:

• Thiết kế tính năng và phần thưởng, một công việc có thể rất phức tạp.
• Các thông số có thể ảnh hưởng đến tốc độ học tập.
• Môi trường thực tế có thể có khả năng quan sát một phần.
• Việc củng cố quá mức có thể dẫn đến quá tải trạng thái, làm giảm hiệu quả.
• Môi trường thực tế có thể không cố định.

Câu Hỏi Thường Gặp