Hva er forsterkningslæring? Typer, Algorithms & Eksempel

Hva er forsterkende læring?

Forsterkningslæring er en Maskinlæring metode som omhandler hvordan programvareagenter skal utføre handlinger i et miljø. Agenten får ikke vist riktige svar; den lærer av belønningen den mottar og justerer oppførselen sin for å maksimere den kumulative belønningen.

Forsterkningslæring er en egen gren av maskinlæring, ved siden av overvåket og uten tilsyn læring. Når agentens policy- eller verdifunksjon er representert av et nevralt nettverk, kalles kombinasjonen dyp forsterkning læring – at sammenkobling er det som lar en agent oppnå et komplekst mål eller maksimere en spesifikk dimensjon over mange trinn.

Viktige komponenter i forsterkningslæringsmetoden

Før algoritmene gir mening, er det nyttig å navngi delene. Diagrammet nedenfor viser hvordan agenten, miljøet, handlingen og belønningssignalet passer sammen i én løkke.

Her er noen viktige begreper som brukes i forsterkningslæring:

• Middel: Enheten som utfører handlinger i et miljø for å oppnå en belønning.
• Miljø (e): Et scenario som en agent må møte.
• Belønning (R): En umiddelbar tilbakebetaling gitt til en agent når den utfører en spesifikk handling eller oppgave.
• Tilstand(er): Tilstand refererer til den nåværende situasjonen returnert av miljøet.
• Retningslinjer (π): Strategien som agenten bruker for å bestemme neste handling basert på gjeldende tilstand.
• Verdi (V): Forventet langsiktig avkastning med rabatt, sammenlignet med kortsiktig belønning.
• Verdifunksjon: Den spesifiserer verdien av en tilstand, det vil si den totale belønningsmengden en agent kan forvente å akkumulere fra den tilstanden.
• Modell av miljøet: Dette etterligner miljøets oppførsel. Det lar deg trekke slutninger og også bestemme hvordan miljøet vil oppføre seg.
• Modellbaserte metoder: Metoder som løser forsterkningslæringsproblemer ved først å lære eller bruke en modell av miljøet, og deretter planlegge mot det.
• Q-verdi eller handlingsverdi (Q): Q-verdi er ganske lik verdi. Den eneste forskjellen mellom de to er at den krever en ekstra parameter, den gjeldende handlingen.

Hvordan fungerer forsterkende læring?

En hverdagslig analogi gjør mekanismen tydelig før noen notasjon dukker opp.

Tenk deg et scenario der du lærer katten din nye triks.

• Siden katten ikke forstår engelsk eller noe annet menneskespråk, kan vi ikke fortelle den direkte hva den skal gjøre. I stedet følger vi en annen strategi.
• Vi etterligner en situasjon, og katten prøver å reagere på mange forskjellige måter. Hvis kattens reaksjon er den ønskede, gir vi den fisk.
• Hver gang katten blir utsatt for den samme situasjonen, utfører den en lignende handling enda mer entusiastisk, i forventning om å få mer belønning (mat).
• Det er læringen katten får om «hva den skal gjøre» fra positive erfaringer.
• Samtidig lærer katten også hva den ikke skal gjøre når den møter negative opplevelser.

Eksempel på forsterkende læring

Figuren nedenfor kartlegger kattehistorien i den formelle sløyfen, med husholdningen som miljøet og fisken som belønningen.

I dette tilfellet,

• Katten din er et stoff som er eksponert for miljøet. I dette tilfellet er det huset ditt. Et eksempel på en tilstand kan være at katten din passer, og du bruker et bestemt ord for å få katten til å gå.
• Agenten vår reagerer ved å utføre en handlingsovergang fra en «stat» til en annen «stat».
• For eksempel går katten din fra å sitte til å gå.
• Reaksjonen til en agent er en handling, og policyen er en metode for å velge en handling gitt en tilstand i forventning om bedre resultater.
• Etter overgangen kan agenten få en belønning eller straff i retur.

Forsterkningslæring Algorithms

Det finnes tre tilnærminger til å implementere en forsterkningslæringsalgoritme, og de skiller seg hovedsakelig i hva agenten lagrer og lærer.

Verdibasert

I en verdibasert forsterkningslæringsmetode prøver man å maksimere en verdifunksjon V(s). I denne metoden forventer agenten en langsiktig avkastning av de nåværende tilstandene under policy π.

Politikkbasert

I en policybasert RL-metode prøver du å komme opp med en policy slik at handlingen som utføres i hver stat hjelper deg med å oppnå maksimal belønning i fremtiden.

To typer policybaserte metoder er:

• Deterministisk: For enhver tilstand produseres den samme handlingen av politikken π.
• Stokastisk: Enhver handling har en viss sannsynlighet, gitt av følgende ligning.

Stokastisk politikk:

π(a|s) = P[At = a | St = s]

Modellbasert

I denne metoden for forsterkende læring lager du en virtuell modell for hvert miljø. Agenten lærer å prestere i det spesifikke miljøet.

Kjennetegn ved forsterkende læring

Her er viktige kjennetegn ved forsterkningslæring:

• Det er ingen veileder, bare et reelt tall eller belønningssignal
• Sekvensiell beslutningstaking
• Tid spiller en avgjørende rolle i forsterkningsproblemer
• Tilbakemeldinger er ofte forsinket snarere enn umiddelbare
• Agentens handlinger bestemmer de påfølgende dataene den mottar

Typer forsterkende læring

Ordet «forsterkning» er lånt fra atferdspsykologi, og det finnes i to former:

positiv:

Det er definert som en hendelse som oppstår på grunn av en spesifikk atferd. Den øker styrken og hyppigheten av atferden og påvirker positivt handlingen som utføres av aktøren.

Denne typen forsterkning hjelper deg med å maksimere ytelsen og opprettholde endringen over en lengre periode. For mye forsterkning kan imidlertid føre til overoptimalisering av tilstanden, noe som kan påvirke resultatene.

Negativ:

Negativ forsterkning er definert som styrking av atferd som oppstår på grunn av en negativ tilstand som burde vært stoppet eller unngått. Den hjelper deg med å definere minimumsstandarden for ytelse. Ulempen med denne metoden er imidlertid at den bare gir nok til å oppfylle minimumsatferden.

Lære modeller for forsterkning

Det er to viktige læringsmodeller i forsterkende læring:

• Markov beslutningsprosess
• Q læring

Markov beslutningsprosess

Følgende parametere brukes for å finne en løsning:

• Sett med handlinger – A
• Sett med tilstander – S
• Belønning – R
• Politikk – π
• Verdi – V

Den matematiske tilnærmingen for kartping En løsning i forsterkningslæring er formalisert som en Markov-beslutningsprosess, eller MDP. Skjematisk sett nedenfor viser disse fem parameterne koblet til den samme agent-miljø-syklusen.

Q-læring

Q-læring er en verdibasert metode for å levere informasjon som forteller en agent hvilken handling de skal utføre.

La oss forstå denne metoden med følgende eksempel:

• Det er fem rom i en bygning som er forbundet med dører.
• Hvert rom er nummerert fra 0 til 4
• Utsiden av bygningen kan behandles som ett stort uteområde (5)
• Dør nummer 1 og 4 fører inn i bygningen fra rom 5

Plantegningen nedenfor nummererer disse rommene og viser hvilke dører som forbinder dem.

Deretter må du knytte en belønningsverdi til hver dør:

• Dører som fører direkte til målet har en belønning på 100
• Dører som ikke er direkte koblet til målrommet gir null belønning
• Siden dørene er toveis, er det tildelt to piler for hvert rom
• Hver pil i bildet ovenfor har en umiddelbar belønningsverdi

Forklaring: I dette bildet representerer hvert rom en tilstand, og agentens bevegelse fra ett rom til et annet representerer en handling.

I grafen nedenfor er en tilstand tegnet som en node, mens pilene viser de tilgjengelige handlingene og belønningen knyttet til hver av dem.

For eksempel, en agent går fra romnummer 2 til 5:

• Utgangstilstand = tilstand 2
• Tilstand 2-> tilstand 3
• Tilstand 3 -> tilstand (2,1,4)
• Tilstand 4-> tilstand (0,5,3)
• Tilstand 1-> tilstand (5,3)
• Tilstand 0-> tilstand 4

Forsterkende læring vs. veiledet læring

Den klareste måten å plassere forsterkningslæring på er å sette den ved siden av paradigmet de fleste lesere allerede kjenner.

Anvendelser av forsterkende læring

Her er anvendelser av forsterkende læring:

• Robotikk for industriell automasjon.
• Planlegging av forretningsstrategi
• Maskinlæring og databehandling
• Det hjelper deg med å lage opplæringssystemer som tilbyr tilpasset undervisning og materiell i henhold til studentenes behov.
• Flykontroll og robotbevegelseskontroll

Hvorfor bruke forsterkende læring?

Her er hovedgrunnene til å bruke forsterkningslæring:

• Det hjelper deg å finne ut hvilken situasjon som krever handling
• Hjelper deg med å finne ut hvilken handling som gir høyest belønning over en lengre periode
• Forsterkningslæring gir også læringsagenten en belønningsfunksjon.
• Det lar også agenten finne ut den beste metoden for å oppnå store belønninger

Når skal man ikke bruke forsterkende læring?

Du kan ikke bruke en forsterkningslæringsmodell i alle situasjoner. Her er noen situasjoner der du ikke bør bruke en.

• Når du har nok merkede data til å løse problemet med en veiledet læringsmetode
• Forsterkningslæring er datatungt og tidkrevende, spesielt når handlingsrommet er stort.

Utfordringer ved forsterkende læring

Her er de største utfordringene du vil møte når du gjør forsterkningslæring:

• Funksjons- og belønningsdesign, som kan være svært involvert
• Parametre kan påvirke læringshastigheten.
• Realistiske miljøer kan ha delvis observerbarhet.
• For mye forsterkning kan føre til en overbelastning av tilstander, noe som kan svekke resultatene.
• Realistiske miljøer kan være ikke-stasjonære.

Spørsmål og svar