Apa itu Pembelajaran Penguatan (Reinforcement Learning)? Jenis-jenisnya, Algorithms & Contoh

Apa itu Pembelajaran Penguatan?

Pembelajaran Penguatan adalah Pembelajaran mesin Metode ini berkaitan dengan bagaimana agen perangkat lunak harus mengambil tindakan dalam suatu lingkungan. Agen tidak diperlihatkan jawaban yang benar; ia belajar dari imbalan yang diterimanya dan menyesuaikan perilakunya untuk memaksimalkan imbalan kumulatif.

Reinforcement Learning adalah cabang dari pembelajaran mesin yang berdiri sendiri, di samping diawasi ke tidak diawasi Pembelajaran. Ketika kebijakan atau fungsi nilai agen direpresentasikan oleh jaringan saraf, kombinasi tersebut disebut... pembelajaran penguatan yang mendalam — penggabungan itulah yang memungkinkan agen mencapai tujuan yang kompleks atau memaksimalkan dimensi tertentu melalui banyak langkah.

Komponen Penting dari Metode Pembelajaran Penguatan

Sebelum algoritma dapat dipahami, ada baiknya kita menyebutkan bagian-bagiannya terlebih dahulu. Diagram di bawah ini menunjukkan bagaimana agen, lingkungan, tindakan, dan sinyal imbalan saling terkait dalam satu siklus.

Berikut beberapa istilah penting yang digunakan dalam Pembelajaran Penguatan (Reinforcement Learning):

• Agen: Entitas yang melakukan tindakan di suatu lingkungan untuk mendapatkan imbalan tertentu.
• Lingkungan (e): Skenario yang harus dihadapi seorang agen.
• Hadiah (kanan): Imbalan langsung yang diberikan kepada agen ketika ia melakukan tindakan atau tugas tertentu.
• Negara bagian: Keadaan mengacu pada situasi saat ini yang dihasilkan oleh lingkungan.
• Kebijakan (π): Strategi yang diterapkan oleh agen untuk menentukan tindakan selanjutnya berdasarkan keadaan saat ini.
• Nilai (V): Imbal hasil jangka panjang yang diharapkan dengan diskon, dibandingkan dengan imbalan jangka pendek.
• Fungsi Nilai: Ini menentukan nilai suatu keadaan, yaitu jumlah total imbalan yang dapat diharapkan oleh agen untuk dikumpulkan mulai dari keadaan tersebut.
• Model lingkungan: Ini meniru perilaku lingkungan. Hal ini memungkinkan Anda untuk membuat kesimpulan dan juga menentukan bagaimana lingkungan akan berperilaku.
• Metode berbasis model: Metode yang memecahkan masalah pembelajaran penguatan dengan terlebih dahulu mempelajari atau menggunakan model lingkungan, kemudian merencanakan tindakan berdasarkan model tersebut.
• Nilai Q atau nilai tindakan (Q): Nilai Q cukup mirip dengan nilai lainnya. Satu-satunya perbedaan antara keduanya adalah nilai Q membutuhkan parameter tambahan, yaitu tindakan saat ini.

Bagaimana Pembelajaran Penguatan bekerja?

Analogi sehari-hari membuat mekanisme tersebut menjadi jelas sebelum notasi apa pun muncul.

Pertimbangkan skenario mengajari kucing Anda trik-trik baru.

• Karena kucing itu tidak mengerti bahasa Inggris atau bahasa manusia lainnya, kami tidak bisa langsung memberitahunya apa yang harus dilakukan. Sebagai gantinya, kami menggunakan strategi yang berbeda.
• Kita mensimulasikan suatu situasi, dan kucing mencoba merespons dengan berbagai cara. Jika respons kucing sesuai dengan yang diinginkan, kita memberinya ikan.
• Sekarang, setiap kali kucing tersebut dihadapkan pada situasi yang sama, ia akan melakukan tindakan serupa dengan lebih antusias, dengan harapan mendapatkan lebih banyak hadiah (makanan).
• Itulah pembelajaran yang didapat kucing tentang "apa yang harus dilakukan" dari pengalaman positif.
• Pada saat yang sama, kucing juga belajar apa yang tidak boleh dilakukan ketika menghadapi pengalaman negatif.

Contoh Pembelajaran Penguatan

Gambar di bawah ini memetakan kisah kucing tersebut ke dalam siklus formal, dengan rumah tangga sebagai lingkungan dan ikan sebagai hadiahnya.

Di sini:

• Kucing Anda adalah agen yang terpapar lingkungan. Dalam hal ini, lingkungan tersebut adalah rumah Anda. Contoh keadaan bisa berupa kucing Anda sedang duduk, dan Anda menggunakan kata tertentu untuk membuat kucing tersebut berjalan.
• Agen kami bereaksi dengan melakukan transisi tindakan dari satu “negara bagian” ke “negara bagian” lainnya.
• Misalnya, kucing Anda beralih dari duduk ke berjalan.
• Reaksi seorang agen adalah suatu tindakan, dan kebijakan adalah metode pemilihan tindakan yang diberikan suatu negara dengan harapan mendapatkan hasil yang lebih baik.
• Setelah transisi, agen tersebut mungkin mendapatkan imbalan atau hukuman sebagai balasannya.

Pembelajaran Penguatan Algorithms

Ada tiga pendekatan untuk mengimplementasikan algoritma Reinforcement Learning, dan perbedaan utamanya terletak pada apa yang disimpan dan dipelajari oleh agen.

Berbasis Nilai

Dalam metode Reinforcement Learning berbasis nilai, Anda mencoba memaksimalkan fungsi nilai V(s). Dalam metode ini, agen mengharapkan pengembalian jangka panjang dari keadaan saat ini di bawah kebijakan π.

Berbasis kebijakan

Dalam metode RL berbasis kebijakan, Anda mencoba untuk merumuskan kebijakan sedemikian rupa sehingga tindakan yang dilakukan di setiap keadaan membantu Anda mendapatkan imbalan maksimal di masa depan.

Dua jenis metode berbasis kebijakan adalah:

• Deterministik: Untuk setiap negara bagian, tindakan yang sama dihasilkan oleh kebijakan π.
• stokastik: Setiap tindakan memiliki probabilitas tertentu, yang diberikan oleh persamaan berikut.

Kebijakan stokastik:

π(a|s) = P[At = a | St = s]

Berbasis Model

Dalam metode Reinforcement Learning ini, Anda membuat model virtual untuk setiap lingkungan. Agen tersebut belajar untuk berkinerja di lingkungan spesifik tersebut.

Karakteristik Pembelajaran Penguatan

Berikut adalah karakteristik penting dari pembelajaran penguatan (reinforcement learning):

• Tidak ada supervisor, yang ada hanyalah angka nyata atau sinyal hadiah
• Pengambilan keputusan berurutan
• Waktu memainkan peran penting dalam masalah Penguatan
• Umpan balik seringkali tertunda, bukan seketika.
• Tindakan agen menentukan data selanjutnya yang diterimanya

Jenis Pembelajaran Penguatan

Kata “penguatan” dipinjam dari psikologi perilaku, dan hadir dalam dua bentuk:

Positif:

Hal ini didefinisikan sebagai suatu peristiwa yang terjadi karena perilaku tertentu. Peristiwa ini meningkatkan kekuatan dan frekuensi perilaku tersebut serta berdampak positif pada tindakan yang dilakukan oleh pelaku.

Jenis penguatan ini membantu Anda memaksimalkan kinerja dan mempertahankan perubahan untuk jangka waktu yang lebih lama. Namun, penguatan yang berlebihan dapat menyebabkan pengoptimalan kondisi yang berlebihan, yang dapat memengaruhi hasilnya.

Negatif:

Penguatan negatif didefinisikan sebagai penguatan perilaku yang terjadi karena kondisi negatif yang seharusnya dihentikan atau dihindari. Ini membantu Anda menetapkan standar kinerja minimum. Namun, kelemahan metode ini adalah hanya memberikan cukup untuk memenuhi perilaku minimum.

Model Pembelajaran Penguatan

Ada dua model pembelajaran penting dalam pembelajaran penguatan:

• Proses Keputusan Markov
• pembelajaran Q

Proses Keputusan Markov

Parameter berikut digunakan untuk mendapatkan solusi:

• Serangkaian tindakan – A
• Himpunan negara bagian – S
• Hadiah – R
• Kebijakan – π
• Nilai – V

Pendekatan matematis untuk petaping Solusi dalam Reinforcement Learning diformalkan sebagai Proses Keputusan Markov, atau MDP. Skema di bawah ini menunjukkan kelima parameter tersebut terhubung ke dalam siklus agen-lingkungan yang sama.

Q-Belajar

Q-learning adalah metode berbasis nilai untuk memberikan informasi yang memberitahu agen tindakan apa yang harus diambil.

Mari kita pahami metode ini dengan contoh berikut:

• Terdapat lima ruangan dalam sebuah bangunan yang dihubungkan dengan pintu.
• Setiap ruangan diberi nomor 0 sampai 4.
• Bagian luar bangunan dapat dianggap sebagai satu area luar yang besar (5)
• Pintu nomor 1 dan 4 mengarah ke gedung dari kamar 5

Denah lantai di bawah ini memberi nomor pada ruangan-ruangan tersebut dan menunjukkan pintu mana yang menghubungkannya.

Selanjutnya, Anda perlu mengaitkan nilai hadiah dengan setiap pintu:

• Pintu yang mengarah langsung ke tujuan mendapat hadiah 100
• Pintu yang tidak terhubung langsung ke ruangan target tidak memberikan hadiah apa pun.
• Karena pintu merupakan pintu dua arah, maka dua tanda panah diberikan untuk setiap ruangan.
• Setiap anak panah pada gambar di atas membawa nilai hadiah instan.

Penjelasan: Dalam gambar ini, setiap ruangan mewakili suatu keadaan, dan pergerakan agen dari satu ruangan ke ruangan lain mewakili suatu tindakan.

Pada grafik di bawah ini, suatu negara digambarkan sebagai simpul sementara panah menunjukkan tindakan yang tersedia dan imbalan yang terkait dengan masing-masing tindakan tersebut.

Sebagai contoh, seorang agen berpindah dari ruangan nomor 2 ke ruangan nomor 5:

• Keadaan awal = keadaan 2
• Negara bagian 2-> negara bagian 3
• Negara bagian 3 -> negara bagian (2,1,4)
• Negara bagian 4-> negara bagian (0,5,3)
• Negara bagian 1-> negara bagian (5,3)
• Negara bagian 0-> negara bagian 4

Pembelajaran Penguatan vs. Pembelajaran yang Diawasi

Cara paling jelas untuk menempatkan Pembelajaran Penguatan (Reinforcement Learning) adalah dengan membandingkannya dengan paradigma yang sudah dikenal oleh sebagian besar pembaca.

Aplikasi Pembelajaran Penguatan

Berikut adalah aplikasi Reinforcement Learning :

• Robotika untuk otomasi industri.
• Perencanaan strategi bisnis
• Pembelajaran mesin dan pengolahan data
• Ini membantu Anda membuat sistem pelatihan yang menyediakan instruksi dan materi khusus sesuai dengan kebutuhan siswa.
• Kontrol pesawat dan kontrol gerak robot

Mengapa menggunakan Pembelajaran Penguatan?

Berikut adalah alasan utama untuk menggunakan Reinforcement Learning:

• Ini membantu Anda menemukan situasi mana yang membutuhkan tindakan.
• Membantu Anda menemukan tindakan mana yang memberikan imbalan tertinggi dalam jangka waktu yang lebih panjang.
• Pembelajaran Penguatan juga memberikan fungsi penghargaan kepada agen pembelajaran.
• Hal ini juga memungkinkan agen untuk menentukan metode terbaik untuk mendapatkan imbalan yang besar.

Kapan Tidak Menggunakan Pembelajaran Penguatan?

Anda tidak dapat menerapkan model pembelajaran penguatan (reinforcement learning) dalam setiap situasi. Berikut adalah beberapa kondisi di mana Anda sebaiknya tidak menggunakannya.

• Ketika Anda memiliki cukup data berlabel untuk menyelesaikan masalah dengan metode pembelajaran terawasi.
• Pembelajaran penguatan (Reinforcement Learning) membutuhkan banyak daya komputasi dan waktu, terutama ketika ruang aksi (action space) besar.

Tantangan Pembelajaran Penguatan

Berikut adalah tantangan utama yang akan Anda hadapi saat melakukan Reinforcement Learning:

• Desain fitur dan hadiah, yang bisa sangat rumit.
• Parameter dapat mempengaruhi kecepatan belajar.
• Lingkungan yang realistis dapat memiliki observasi parsial.
• Penguatan yang berlebihan dapat menyebabkan kelebihan jumlah kondisi, yang dapat mengurangi hasil.
• Lingkungan yang realistis bisa jadi tidak stasioner.

Pertanyaan Umum Demo Slot