Mis on tugevdusõpe? Tüübid Algorithms & Näide

Mis on tugevdav õpe?

Tugevdusõpe on Masinõpe Meetod, mis käsitleb tarkvaraagendi tegevust konkreetses keskkonnas. Agendile ei näidata õigeid vastuseid; ta õpib saadud tasu põhjal ja kohandab oma käitumist, et maksimeerida kumulatiivset tasu.

Tugevdusõpe on omaette masinõppe haru koos ... kontrollitud ja järelevalveta õppimine. Kui agendi poliitikat või väärtusfunktsiooni esindab närvivõrk, nimetatakse kombinatsiooni sügav tugevdamine õppimine — see sidumine võimaldab agendil saavutada keeruka eesmärgi või maksimeerida konkreetset dimensiooni paljude sammude jooksul.

Tugevdusõppe meetodi olulised komponendid

Enne kui algoritmid aru saavad, on kasulik osad nimetada. Allolev diagramm näitab, kuidas agent, keskkond, tegevus ja tasusignaal ühte ahelasse kokku sobivad.

Siin on mõned olulised terminid, mida kasutatakse tugevdusõppes:

• Agent: Üksus, mis sooritab keskkonnas tegevusi tasu saamiseks.
• Keskkond (e): Stsenaarium, millega agent peab silmitsi seisma.
• Preemia (R): Agendile antav kohene vastus, kui ta sooritab konkreetse toimingu või ülesande.
• Osariik(id): Olek viitab hetkeolukorrale, mille keskkond on tagastanud.
• Poliitika (π): Agendi poolt praeguse oleku põhjal järgmise toimingu otsustamiseks rakendatud strateegia.
• Väärtus (V): Oodatav pikaajaline tootlus koos allahindlusega võrreldes lühiajalise tasuga.
• Väärtuse funktsioon: See määrab oleku väärtuse, st kogu tasu, mida agent võib sellest olekust alates oodata.
• Keskkonna mudel: See jäljendab keskkonna käitumist. See võimaldab teil teha järeldusi ja määrata ka seda, kuidas keskkond käitub.
• Mudelipõhised meetodid: Meetodid, mis lahendavad tugevdusõppe probleeme esmalt keskkonna õppimise või mudeli kasutamise ja seejärel selle vastu planeerimise teel.
• Q väärtus või tegevusväärtus (Q): Q väärtus on üsna sarnane väärtusega (value). Ainus erinevus nende kahe vahel on see, et see võtab lisaparameetri – praeguse toimingu.

Kuidas tugevdav õpe toimib?

Igapäevane analoogia teeb mehhanismi selgeks enne mis tahes märgete ilmumist.

Mõelge stsenaariumile, kus õpetate oma kassile uusi trikke.

• Kuna kass ei saa aru inglise keelest ega ühestki teisest inimkeelest, ei saa me talle otse öelda, mida teha. Selle asemel järgime teistsugust strateegiat.
• Me jäljendame olukorda ja kass püüab reageerida mitmel erineval moel. Kui kassi reaktsioon on soovitud, anname talle kala.
• Nüüd, kui kass satub samasse olukorda, sooritab ta sarnase tegevuse veelgi entusiastlikumalt, lootes saada rohkem tasu (toitu).
• See on õppimine, mida kass saab positiivsetest kogemustest selle kohta, „mida teha“.
• Samal ajal õpib kass ka seda, mida negatiivsete kogemustega silmitsi seistes mitte teha.

Tugevdusõppe näide

Allolev joonis kaardistab selle kassiloo formaalsesse tsüklisse, kus majapidamine on keskkond ja kala on tasu.

Sel juhul,

• Sinu kass on agent, mis puutub kokku keskkonnaga. Antud juhul on see sinu maja. Näiteks oleku kohta võib tuua olukorra, kus su kass istub ja sina kasutad kindlat sõna, et panna kass kõndima.
• Meie agent reageerib, teostades toimingu ülemineku ühest "olekust" teise "olekusse".
• Näiteks läheb teie kass istumisest kõndima.
• Agendi reaktsioon on tegevus ja poliitika on meetod toimingu valimiseks, võttes arvesse paremaid tulemusi.
• Pärast üleminekut võib agent vastutasuks saada preemia või trahvi.

Tugevdusõpe Algorithms

Tugevdusõppe algoritmi rakendamiseks on kolm lähenemisviisi ja need erinevad peamiselt selle poolest, mida agent salvestab ja õpib.

Väärtuspõhine

Väärtuspõhises tugevdusõppe meetodis püütakse maksimeerida väärtusfunktsiooni V(s). Selle meetodi puhul ootab agent poliitika π korral praeguste olekute pikaajalist tootlust.

Poliitikapõhine

Poliitikapõhises RL-meetodis proovite välja töötada poliitika, mis võimaldaks igas olekus sooritatud toimingul tulevikus maksimaalset tasu saada.

On kahte tüüpi poliitikapõhiseid meetodeid:

• Deterministlik: Mis tahes oleku korral tekitab poliitika π sama toimingu.
• Stohhastiline: Igal tegevusel on teatud tõenäosus, mis on antud järgmise võrrandiga.

Stohhastiline poliitika:

π(a|s) = P[At = a | St = s]

Mudelipõhine

Selle tugevdusõppe meetodi puhul lood iga keskkonna jaoks virtuaalse mudeli. Agent õpib selles konkreetses keskkonnas toimima.

Tugevdusõppe tunnused

Siin on tugevdusõppe olulised omadused:

• Juhendajat pole, on ainult reaalnumber või preemiasignaal
• Järjestikuste otsuste tegemine
• Aeg mängib tugevdamisprobleemides otsustavat rolli
• Tagasiside on sageli pigem viivitusega kui kohene
• Agendi tegevused määravad edasised andmed, mida ta saab

Tugevdusõppe tüübid

Sõna „tugevdamine” on laenatud käitumispsühholoogiast ja see esineb kahel kujul:

Positiivne:

Seda defineeritakse kui sündmust, mis toimub konkreetse käitumise tõttu. See suurendab käitumise tugevust ja sagedust ning mõjutab positiivselt agendi tegevust.

Selline tugevdamine aitab teil maksimeerida jõudlust ja säilitada muutusi pikema aja jooksul. Liiga suur tugevdamine võib aga viia oleku üleoptimeerimiseni, mis võib tulemusi mõjutada.

Negatiivne:

Negatiivne tugevdamine on defineeritud kui käitumise tugevdamine, mis toimub negatiivse tingimuse tõttu, mis oleks tulnud peatada või vältida. See aitab teil määratleda minimaalse sooritusstandardi. Selle meetodi puuduseks on aga see, et see annab ainult nii palju, kui on vaja minimaalse käitumise saavutamiseks.

Tugevdamise mudelite õppimine

Tugevdusõppes on kaks olulist õppemudelit:

• Markovi otsustusprotsess
• Q õppimine

Markovi otsustusprotsess

Lahenduse saamiseks kasutatakse järgmisi parameetreid:

• Toimingute kogum – A
• Seisundite komplekt – S
• Auhind – R
• Poliitika – π
• Väärtus – V

Matemaatiline lähenemine kaardistamiseleping Tugevdusõppe lahendus vormistatakse Markovi otsustusprotsessina ehk MDP-na. Allolev skeem näitab neid viit parameetrit, mis on ühendatud samasse agent-keskkond tsüklisse.

Q-õpe

Q-õpe on väärtuspõhine meetod teabe edastamiseks, mis ütleb agendile, millist toimingut teha.

Mõistame seda meetodit järgmise näite abil:

• Majas on viis tuba, mis on omavahel ustega ühendatud.
• Iga tuba on nummerdatud 0-st 4-ni
• Hoone välispinda võib käsitleda ühe suure välisalana (5)
• 1. ruumist viivad majja uksed number 4 ja 5

Allolev korruseplaan nummerdab need toad ja näitab, millised uksed neid ühendavad.

Järgmisena peate iga uksega seostama preemia väärtuse:

• Otse eesmärgini viivad uksed saavad tasu 100
• Uksed, mis pole sihtruumiga otse ühendatud, ei anna mingit preemiat.
• Kuna uksed on kahesuunalised, on igale toale määratud kaks noolt.
• Igal ülaloleval pildil oleval noolel on kohene preemiaväärtus.

Selgitus: Sellel pildil tähistab iga tuba olekut ja agendi liikumine ühest ruumist teise tähistab tegevust.

Alloleval graafikul on olek joonistatud sõlmena, samas kui nooled näitavad saadaolevaid toiminguid ja igaühega seotud tasu.

Näiteks liigub agent toast number 2 toasse number 5:

• Algseisund = olek 2
• Olek 2-> olek 3
• Olek 3 -> olek (2,1,4)
• Olek 4-> olek (0,5,3)
• Olek 1-> olek (5,3)
• Olek 0-> olek 4

Tugevdusõpe vs juhendatud õpe

Kõige selgem viis tugevdusõppe paigutamiseks on asetada see enamiku lugejate juba tuttava paradigma kõrvale.

Tugevdusõppe rakendused

Siin on tugevdamisõppe rakendused:

• Robootika tööstusautomaatika jaoks.
• Äristrateegia planeerimine
• Masinõpe ja andmetöötlus
• See aitab teil luua koolitussüsteeme, mis pakuvad õpilaste vajadustele vastavat kohandatud õpet ja materjale.
• Lennuki juhtimine ja roboti liikumise juhtimine

Miks kasutada tugevdamisõpet?

Siin on tugevdamisõppe kasutamise peamised põhjused:

• See aitab sul leida, milline olukord vajab tegutsemist
• Aitab avastada, milline tegevus annab pikema aja jooksul suurimat tasu
• Tugevdusõpe pakub õppivale agendile ka tasufunktsiooni.
• See võimaldab agendil välja selgitada ka parima meetodi suurte hüvede saamiseks.

Millal mitte kasutada tugevdavat õpet?

Tugevdusõppe mudelit ei saa igas olukorras rakendada. Siin on mõned tingimused, mille korral seda ei tohiks kasutada.

• Kui teil on piisavalt sildistatud andmeid, et lahendada probleem juhendatud õppemeetodi abil
• Tugevdusõpe on arvutusmahukas ja aeganõudev, eriti kui tegevusruum on suur.

Tugevdusõppe väljakutsed

Siin on peamised väljakutsed, millega tugevdusõppe tegemisel silmitsi seisate:

• Funktsioonide ja preemiate disain, mis võib olla väga keerukas
• Parameetrid võivad mõjutada õppimise kiirust.
• Realistlikel keskkondadel võib olla osaline jälgitavus.
• Liiga palju tugevdamist võib viia olekute ülekoormuseni, mis omakorda võib tulemusi halvendada.
• Realistlikud keskkonnad võivad olla mittestatsionaarsed.

KKK