Pekiştirmeli Öğrenme Nedir? Türleri, Algorithms & Örnek
Evelyn Clarke
⚡ Akıllı Özet
Takviyeli Öğrenme, bir yazılım ajanının bir ortam içinde hareket ederek, ödül veya ceza toplayarak ve davranışını birçok adımda kümülatif ödülü en üst düzeye çıkarmak için ayarlayarak öğrendiği bir makine öğrenme yöntemidir.
Pekiştirmeli Öğrenme Nedir?
Takviye Öğrenme bir Makine öğrenmesi Bu yöntem, yazılım ajanlarının bir ortamda nasıl davranması gerektiğiyle ilgilidir. Ajan doğru cevapları görmez; aldığı ödülden öğrenir ve toplam ödülü en üst düzeye çıkarmak için davranışını ayarlar.
Takviyeli Öğrenme, makine öğrenmesinin başlı başına bir dalıdır. denetimli hem de denetimsiz Öğrenme. Ajanın politika veya değer fonksiyonu bir sinir ağı ile temsil edildiğinde, bu kombinasyona öğrenme denir. derin takviye öğrenme — bu eşleştirme, bir ajanın karmaşık bir amaca ulaşmasını veya belirli bir boyutu birçok adımda en üst düzeye çıkarmasını sağlayan şeydir.
Takviyeli Öğrenme Yönteminin Önemli Bileşenleri
Algoritmaların anlam kazanması için öncelikle parçalara isim vermek faydalı olur. Aşağıdaki diyagram, ajanın, ortamın, eylemin ve ödül sinyalinin tek bir döngü içinde nasıl bir araya geldiğini göstermektedir.
İşte pekiştirmeli öğrenmede kullanılan bazı önemli terimler:
- Ajan: Bir ortamda belirli bir ödül kazanmak amacıyla eylemler gerçekleştiren varlık.
- Çevre (e): Bir temsilcinin yüzleşmesi gereken bir senaryo.
- Ödül (R): Bir aracının belirli bir eylemi veya görevi yerine getirdiğinde anında aldığı geri dönüş.
- Eyalet (ler): Durum, çevrenin döndürdüğü mevcut durumu ifade eder.
- Politika (π): Ajanın mevcut duruma göre bir sonraki eylemi belirlemek için uyguladığı strateji.
- Değer (V): İskonto uygulandıktan sonra beklenen uzun vadeli getiri, kısa vadeli getiriyle karşılaştırılmıştır.
- Değer Fonksiyonu: Bu, bir durumun değerini, yani bir ajanın o durumdan başlayarak biriktirmeyi bekleyebileceği toplam ödül miktarını belirtir.
- Ortam modeli: Bu, çevrenin davranışını taklit eder. Çıkarımlar yapmanıza ve çevrenin nasıl davranacağını belirlemenize olanak tanır.
- Model tabanlı yöntemler: Öncelikle ortamın bir modelini öğrenerek veya kullanarak, ardından da buna göre planlama yaparak pekiştirmeli öğrenme problemlerini çözen yöntemler.
- Q değeri veya eylem değeri (Q): Q değeri, değerine oldukça benzer. İkisi arasındaki tek fark, mevcut eylemi belirten ek bir parametre almasıdır.
Takviyeli Öğrenme nasıl çalışır?
Günlük hayattan bir benzetme, herhangi bir gösterime gerek kalmadan mekanizmayı netleştirir.
Kedinize yeni numaralar öğretme senaryosunu düşünün.
- Kedi İngilizce veya başka herhangi bir insan dilini anlamadığı için ona doğrudan ne yapması gerektiğini söyleyemeyiz. Bunun yerine farklı bir strateji izliyoruz.
- Bir durumu canlandırıyoruz ve kedi birçok farklı şekilde tepki vermeye çalışıyor. Eğer kedinin tepkisi istediğimiz gibi olursa, ona balık veriyoruz.
- Kedi artık aynı durumla karşılaştığında, daha fazla ödül (yemek) alma beklentisiyle benzer bir hareketi daha da büyük bir coşkuyla gerçekleştiriyor.
- Kedinin olumlu deneyimlerden "ne yapması gerektiğini" öğrenmesi işte budur.
- Aynı zamanda kedi, olumsuz deneyimlerle karşılaştığında ne yapmaması gerektiğini de öğrenir.
Takviyeli Öğrenme Örneği
Aşağıdaki şekil, kedi hikayesini, ev halkını çevre, balığı ise ödül olarak alarak, biçimsel döngüye uyarlıyor.
Bu durumda,
- Kediniz, çevreye maruz kalan bir etkendir. Bu durumda, çevre sizin evinizdir. Bir durum örneği olarak, kedinizin oturması ve sizin de kediyi yürütmek için belirli bir kelime kullanmanız verilebilir.
- Temsilcimiz bir "durum"dan başka bir "duruma" eylem geçişi gerçekleştirerek tepki verir.
- Örneğin kediniz oturmaktan yürümeye geçiyor.
- Bir temsilcinin tepkisi bir eylemdir ve politika, daha iyi sonuçlar beklentisiyle belirli bir durum için bir eylemi seçme yöntemidir.
- Geçişin ardından, ajan karşılığında bir ödül veya ceza alabilir.
Takviye Öğrenme Algorithms
Takviyeli Öğrenme algoritmasını uygulamaya yönelik üç yaklaşım vardır ve bunlar esas olarak ajanın neyi depoladığı ve öğrendiği konusunda farklılık gösterir.
Değer Bazlı
Değer tabanlı bir Takviyeli Öğrenme yönteminde, bir değer fonksiyonu V(s)'yi maksimize etmeye çalışırsınız. Bu yöntemde, ajan π politikası altında mevcut durumların uzun vadeli getirisini bekler.
Politika tabanlı
Politika tabanlı bir takviyeli öğrenme yönteminde, her durumda gerçekleştirilen eylemin gelecekte maksimum ödülü kazanmanıza yardımcı olacak bir politika geliştirmeye çalışırsınız.
İki tür politikaya dayalı yöntem şunlardır:
- Belirleyici: Herhangi bir durum için, π politikası aynı etkiyi üretir.
- Stokastik: Her eylemin belirli bir olasılığı vardır ve bu olasılık aşağıdaki denklemle verilir.
Stokastik politika:
π(a|s) = P[At = a | St = s]
Model Tabanlı
Bu pekiştirmeli öğrenme yönteminde, her ortam için sanal bir model oluşturulur. Ajan, o belirli ortamda performans göstermeyi öğrenir.
Takviyeli Öğrenmenin Özellikleri
İşte pekiştirmeli öğrenmenin önemli özellikleri:
- Yönetici yok, yalnızca gerçek sayı veya ödül sinyali var
- Sıralı karar verme
- Güçlendirme problemlerinde zaman çok önemli bir rol oynar
- Geri bildirim genellikle anlık değil, gecikmeli olur.
- Aracının eylemleri, alacağı sonraki verileri belirler
Takviyeli Öğrenme Türleri
"Pekiştirme" kelimesi davranışsal psikolojiden ödünç alınmıştır ve iki biçimde karşımıza çıkar:
Pozitif:
Belirli bir davranış nedeniyle meydana gelen bir olay olarak tanımlanır. Davranışın gücünü ve sıklığını artırır ve ajanın aldığı eylemi olumlu yönde etkiler.
Bu tür pekiştirme, performansı en üst düzeye çıkarmanıza ve değişimi daha uzun süre sürdürmenize yardımcı olur. Bununla birlikte, aşırı pekiştirme, durumun aşırı optimizasyonuna yol açabilir ve bu da sonuçları etkileyebilir.
Negatif:
Negatif pekiştirme, durdurulması veya kaçınılması gereken olumsuz bir durum nedeniyle ortaya çıkan davranışın güçlenmesi olarak tanımlanır. Minimum performans standardını belirlemenize yardımcı olur. Ancak bu yöntemin dezavantajı, yalnızca minimum davranış standardını karşılayacak kadar bilgi sağlamasıdır.
Güçlendirmenin Öğrenme Modelleri
Takviyeli öğrenmede iki önemli öğrenme modeli vardır:
- Markov Karar Süreci
- Q öğrenme
Markov Karar Süreci
Çözüm elde etmek için aşağıdaki parametreler kullanılır:
- Eylemler kümesi – A
- Eyaletler kümesi – S
- Ödül – R
- Politika – π
- Değer – V
Harita için matematiksel yaklaşımping Takviyeli Öğrenmede bir çözüm, Markov Karar Süreci veya MDP olarak resmileştirilir. Aşağıdaki şema, bu beş parametrenin aynı ajan-ortam döngüsüne nasıl bağlandığını göstermektedir.
Q-Öğrenme
Q öğrenme, bir ajana hangi eylemi yapması gerektiğini söyleyen bilgiyi sağlayan değer tabanlı bir yöntemdir.
Bu yöntemi aşağıdaki örnekle anlayalım:
- Bir binada birbirine kapılarla bağlanan beş oda bulunmaktadır.
- Her oda 0'dan 4'e kadar numaralandırılmıştır.
- Binanın dışı büyük bir dış mekan olarak ele alınabilir (5)
- 1 ve 4 numaralı kapılar 5 numaralı odadan binaya açılmaktadır.
Aşağıdaki kat planı, odaları numaralandırıyor ve hangi kapıların odaları birbirine bağladığını gösteriyor.
Ardından, her kapıya bir ödül değeri atamanız gerekiyor:
- Doğrudan hedefe giden kapıların ödülü 100'dür.
- Hedef odaya doğrudan bağlı olmayan kapılar sıfır ödül verir.
- Kapılar çift yönlü olduğundan, her oda için iki ok atanmıştır.
- Yukarıdaki görseldeki her ok, anlık bir ödül değeri taşımaktadır.
Açıklama: Bu görselde her oda bir durumu, ajanın bir odadan diğerine geçmesi ise bir eylemi temsil etmektedir.
Aşağıdaki grafikte, bir durum düğüm olarak gösterilirken, oklar mevcut eylemleri ve her birine bağlı ödülü göstermektedir.
Örneğin, bir görevli 2 numaralı odadan 5 numaralı odaya geçiyor:
- Başlangıç durumu = durum 2
- Durum 2-> durum 3
- Durum 3 -> durum (2,1,4)
- Durum 4-> durum (0,5,3)
- Durum 1-> durum (5,3)
- Durum 0-> durum 4
Takviyeli Öğrenme ve Denetimli Öğrenme
Takviyeli Öğrenmeyi konumlandırmanın en açık yolu, onu çoğu okuyucunun zaten bildiği paradigmanın yanına koymaktır.
| Parametreler | Takviye Öğrenme | Denetimli Öğrenme |
|---|---|---|
| Karar stili | Pekiştirmeli öğrenme, kararlarınızı sırayla almanıza yardımcı olur. | Bu yöntemde başlangıçta verilen girdiye göre bir karar verilir. |
| Eserleri | Çevreyle etkileşime girerek çalışır. | Örnekler veya verilen örnek veriler üzerinde çalışır. |
| Karara bağlılık | RL yönteminde, her öğrenme kararı kendinden önceki kararlara bağlıdır, bu nedenle değerlendirilen şey tüm karar dizisidir. | In denetimli öğrenme Kararlar birbirinden bağımsızdır, bu nedenle her karara bir etiket verilir. |
| en uygun | İnsan etkileşiminin yaygın olduğu yapay zeka ortamlarında daha iyi destek sağlar ve daha iyi çalışır. | Çoğunlukla etkileşimli bir yazılım sistemi veya uygulamalarıyla çalıştırılır. |
| Örnek E-posta | Satranç oyunu | Nesne tanıma |
Takviyeli Öğrenme Uygulamaları
Takviyeli Öğrenmenin uygulamaları şunlardır:
- Endüstriyel otomasyon için robotik.
- İş stratejisi planlaması
- Makine öğrenimi ve veri işleme
- Öğrencilerin ihtiyaçlarına göre özelleştirilmiş eğitim ve materyaller sağlayan eğitim sistemleri oluşturmanıza yardımcı olur.
- Uçak kontrolü ve robot hareket kontrolü
Neden Takviyeli Öğrenmeyi kullanmalısınız?
Takviyeli Öğrenmeyi kullanmanın başlıca nedenleri şunlardır:
- Hangi durumun müdahale gerektirdiğini bulmanıza yardımcı olur.
- Hangi eylemin uzun vadede en yüksek getiriyi sağladığını keşfetmenize yardımcı olur.
- Takviyeli Öğrenme, öğrenme ajanına bir ödül fonksiyonu da sağlar.
- Bu aynı zamanda temsilcinin büyük ödüller elde etmenin en iyi yöntemini bulmasına da olanak tanır.
Takviyeli Öğrenme Ne Zaman Kullanılmamalı?
Takviyeli öğrenme modelini her durumda uygulayamazsınız. İşte onu kullanmamanız gereken bazı durumlar.
- Bir problemi denetimli öğrenme yöntemiyle çözmek için yeterli etiketli veriye sahip olduğunuzda...
- Pekiştirmeli öğrenme, özellikle eylem alanı büyük olduğunda, yoğun işlem gücü gerektiren ve zaman alan bir yöntemdir.
Takviyeli Öğrenmenin Zorlukları
Takviyeli Öğrenme yaparken karşılaşacağınız başlıca zorluklar şunlardır:
- Özellik ve ödül tasarımı, oldukça karmaşık olabilir.
- Parametreler öğrenme hızını etkileyebilir.
- Gerçekçi ortamlar kısmi gözlemlenebilirliğe sahip olabilir.
- Aşırı pekiştirme, durumların aşırı yüklenmesine yol açabilir ve bu da sonuçları olumsuz etkileyebilir.
- Gerçekçi ortamlar durağan olmayabilir.
