Mi a megerősítéses tanulás? Típusok, Algorithms & Példa

Mi az a megerősítő tanulás?

Erősítő tanulás egy olyan Gépi tanulás Egy módszer, amely azzal foglalkozik, hogy a szoftverágenseknek hogyan kell cselekedniük egy adott környezetben. Az ágensnek nem mutatják a helyes válaszokat; a kapott jutalomból tanul, és a viselkedését a kumulatív jutalom maximalizálása érdekében módosítja.

A megerősítéses tanulás a gépi tanulás egy önálló ága, a ... mellett felügyelt és a felügyelet nélkül tanulás. Amikor az ágens szabályzatát vagy értékfüggvényét egy neurális hálózat reprezentálja, a kombinációt mély megerősítő tanulás – ez a párosítás teszi lehetővé egy ágens számára egy összetett cél elérését vagy egy adott dimenzió maximalizálását több lépésben.

A megerősítéses tanulási módszer fontos összetevői

Mielőtt az algoritmusok értelmet nyernének, érdemes megnevezni a darabjaikat. Az alábbi ábra azt mutatja, hogyan illeszkedik össze az ágens, a környezet, a cselekvés és a jutalomjel egyetlen ciklusban.

Íme néhány fontos kifejezés, amelyet a megerősítéses tanulásban használnak:

• Ügynök: Az a lény, amely egy adott környezetben jutalom megszerzése érdekében cselekvéseket hajt végre.
• Környezet (e): Egy forgatókönyv, amellyel egy ügynöknek szembe kell néznie.
• Jutalom (R): Azonnali visszatérés, amelyet egy ágens kap, amikor egy adott műveletet vagy feladatot végrehajt.
• Államok): Az állapot a környezet által visszaadott jelenlegi helyzetre utal.
• Szabályzat (π): Az ágens által alkalmazott stratégia a jelenlegi állapot alapján a következő művelet eldöntésére.
• Érték (V): A várható hosszú távú hozam diszkonttal, összehasonlítva a rövid távú jutalommal.
• Értékfüggvény: Meghatározza egy állapot értékét, azaz a jutalom teljes összegét, amelyet egy ágens várhatóan felhalmozhat ebből az állapotból kiindulva.
• A környezet modellje: Ez utánozza a környezet viselkedését. Lehetővé teszi következtetések levonását, és annak meghatározását is, hogy a környezet hogyan fog viselkedni.
• Modellalapú módszerek: Olyan módszerek, amelyek a megerősítéses tanulási problémákat úgy oldják meg, hogy először a környezetet tanulják meg vagy modellezik, majd ennek alapján terveznek.
• Q érték vagy műveleti érték (Q): A Q (érték) nagyon hasonló a value (érték)-hez. Az egyetlen különbség a kettő között az, hogy egy további paramétert is kap, az aktuális műveletet.

Hogyan működik a megerősítő tanulás?

Egy mindennapi analógia világossá teszi a mechanizmust, mielőtt bármilyen jelölés megjelenne.

Képzeld el azt a forgatókönyvet, hogy új trükköket tanítasz a macskádnak.

• Mivel a macska nem érti az angolt vagy más emberi nyelvet, nem mondhatjuk meg neki közvetlenül, hogy mit tegyen. Ehelyett egy másik stratégiát követünk.
• Utánozunk egy helyzetet, és a macska sokféleképpen próbál reagálni. Ha a macska reakciója a kívánt, akkor halat adunk neki.
• Most, valahányszor a macska ugyanilyen helyzetbe kerül, még lelkesebben hajt végre hasonló cselekvést, abban a reményben, hogy több jutalmat (ételt) kap.
• Ez az a tanulási folyamat, amelyet a macska a pozitív tapasztalatokból tanul meg arról, hogy „mit kell tennie”.
• Ugyanakkor a macska azt is megtanulja, hogy mit ne tegyen, ha negatív élményekkel szembesül.

Példa megerősítéses tanulásra

Az alábbi ábra a macskatörténetet a formális ciklusra vetíti, ahol a háztartás a környezet, a hal pedig a jutalom.

Ebben az esetben,

• A macskád egy olyan lény, amely ki van téve a környezet hatásainak. Ebben az esetben ez a házad. Egy példa erre az állapotra, amikor a macskád ül, te pedig egy adott szóval sétáltatod.
• Ügynökünk az egyik „állapotból” a másik „állapotba” való átmenet végrehajtásával reagál.
• Például a macskája ülésből sétálni kezd.
• Az ügynök reakciója cselekvés, a politika pedig a cselekvés kiválasztásának módszere egy adott állapotban a jobb eredmények reményében.
• Az átmenet után az ügynök jutalmat vagy büntetést kaphat cserébe.

Erősítő tanulás Algorithms

Három megközelítés létezik a megerősítéses tanulási algoritmus megvalósítására, és ezek főként abban különböznek, hogy mit tárol és tanul az ágens.

Érték alapú

Egy értékalapú megerősítéses tanulási módszerben megpróbálunk maximalizálni egy V(s) értékfüggvényt. Ebben a módszerben az ágens a π szabályzat mellett az aktuális állapotok hosszú távú visszatérését várja.

Politika alapú

Egy szabályzatalapú RL módszerben megpróbálsz olyan szabályzatot kidolgozni, amely minden állapotban végrehajtott művelet segít a maximális jutalom elérésében a jövőben.

A politikaalapú módszerek két típusa:

• Determinisztikus: Bármely állapot esetén ugyanazt a műveletet hozza létre a π irányelv.
• Sztochasztikus: Minden cselekvésnek van egy bizonyos valószínűsége, amelyet a következő egyenlet ad meg.

Sztochasztikus politika:

π(a|s) = P[At = a | St = s]

Modell alapú

Ebben a megerősítéses tanulási módszerben minden környezethez virtuális modellt hoz létre. Az ágens megtanulja, hogyan kell teljesíteni az adott környezetben.

A megerősítéses tanulás jellemzői

Íme a megerősítéses tanulás fontos jellemzői:

• Nincs felügyelő, csak valós szám vagy jutalomjel
• Szekvenciális döntéshozatal
• Az idő döntő szerepet játszik a megerősítési problémákban
• A visszajelzés gyakran késleltetett, nem pedig azonnali
• Az ügynök tevékenységei határozzák meg a később kapott adatokat

Az erősítő tanulás típusai

A „megerősítés” szó a viselkedéspszichológiából származik, és kétféle formában létezik:

Pozitív:

Olyan eseményként definiálható, amely egy adott viselkedés miatt következik be. Növeli a viselkedés erősségét és gyakoriságát, és pozitív hatással van a cselekvő fél által végrehajtott cselekvésre.

Ez a fajta megerősítés segít maximalizálni a teljesítményt és hosszabb ideig fenntartani a változást. A túl sok megerősítés azonban az állapot túlzott optimalizálásához vezethet, ami befolyásolhatja az eredményeket.

Negatív:

A negatív megerősítés olyan viselkedés megerősítéseként definiálható, amely egy negatív körülmény miatt következik be, amelyet meg kellett volna állítani vagy el kellett volna kerülni. Segít meghatározni a teljesítmény minimális színvonalát. Ennek a módszernek a hátránya azonban, hogy csak annyit biztosít, amennyi a minimális viselkedési követelmény teljesítéséhez szükséges.

Tanulási modellek megerősítése

A megerősített tanulásban két fontos tanulási modell létezik:

• Markov döntési folyamata
• Q tanulás

Markov döntési folyamata

A következő paramétereket használjuk a megoldáshoz:

• Műveletsor – A
• Állapotok halmaza – S
• Jutalom – R
• Szabályzat – π
• Érték – V

A térképezés matematikai megközelítéseping A megerősítéses tanulásban a megoldást Markov döntési folyamatként (MDP) formalizálják. Az alábbi ábra ezt az öt paramétert mutatja be ugyanabba az ágens-környezet ciklusba bekötve.

Q-Learning

A Q-tanulás egy értékalapú módszer, amely olyan információkat szolgáltat, amelyek megmondják az ágensnek, hogy milyen műveletet kell végrehajtania.

Értsük meg ezt a módszert a következő példával:

• Egy épületben öt szoba található, melyeket ajtók kötnek össze.
• Minden szoba 0-tól 4-ig van számozva
• Az épület külseje egyetlen nagy kültéri területként kezelhető (5)
• Az 1-es és 4-es számú ajtó az 5-ös helyiségből vezet be az épületbe

Az alábbi alaprajz megszámozta ezeket a szobákat, és megmutatja, melyik ajtó köti össze őket.

Ezután minden ajtóhoz hozzá kell rendelni egy jutalomértéket:

• A közvetlenül a célhoz vezető ajtók jutalma 100
• Azok az ajtók, amelyek nem közvetlenül kapcsolódnak a célhelyiséghez, nulla jutalmat adnak.
• Mivel az ajtók kétirányúak, minden szobához két nyíl tartozik.
• A fenti képen látható minden nyíl azonnali jutalomértékkel rendelkezik.

Magyarázat: Ezen a képen minden szoba egy állapotot jelöl, és az ágens egyik szobából a másikba való mozgása egy cselekvést jelöl.

Az alábbi grafikonon egy állapotot csomópontként ábrázoltunk, míg a nyilak az elérhető műveleteket és az egyesekhez tartozó jutalmat mutatják.

Például egy ügynök a 2-es szobából az 5-ösbe jut:

• Kezdeti állapot = 2. állapot
• 2. állapot-> 3. állapot
• 3. állapot -> állapot (2,1,4)
• 4. állapot-> állapot (0,5,3)
• 1. állapot-> állapot (5,3)
• 0. állapot-> 4. állapot

Megerősítő tanulás vs. Felügyelt tanulás

A megerősítéses tanulás elhelyezésének legtisztább módja, ha a legtöbb olvasó már ismert paradigma mellé helyezzük.

A megerősítő tanulás alkalmazásai

Itt vannak az erősítő tanulás alkalmazásai:

• Robotika ipari automatizáláshoz.
• Üzleti stratégia tervezése
• Gépi tanulás és adatfeldolgozás
• Segít olyan képzési rendszerek létrehozásában, amelyek a diákok igényei szerint testreszabott oktatást és anyagokat biztosítanak.
• Repülőgép vezérlés és robot mozgásvezérlés

Miért érdemes megerősítő tanulást használni?

Íme az erősítő tanulás használatának fő okai:

• Segít megtalálni, melyik helyzetben van szükség cselekvésre
• Segít felfedezni, hogy melyik cselekvés hozza a legnagyobb jutalmat hosszabb távon
• A megerősítéses tanulás jutalmazási funkcióval is ellátja a tanulási ágenst.
• Ez lehetővé teszi az ügynök számára, hogy kitalálja a legjobb módszert a nagy jutalmak megszerzésére.

Mikor ne használjunk megerősítő tanulást?

Nem minden helyzetben alkalmazható megerősítéses tanulási modell. Íme néhány eset, amikor nem szabad használni.

• Amikor elegendő címkézett adat áll rendelkezésre a probléma felügyelt tanulási módszerrel történő megoldásához
• A megerősítéses tanulás számításigényes és időigényes, különösen akkor, ha a cselekvési tér nagy.

A megerősítéses tanulás kihívásai

Íme a főbb kihívások, amelyekkel a megerősítéses tanulás során szembesülni fogsz:

• Jellemzők és jutalmak tervezése, ami nagyon összetett lehet
• A paraméterek befolyásolhatják a tanulás sebességét.
• A valósághű környezetek részben megfigyelhetők.
• A túl sok megerősítés az állapotok túlterheléséhez vezethet, ami ronthatja az eredményeket.
• A valósághű környezetek lehetnek nem helyhez kötöttek.

GYIK