Hvad er forstærkende læring? Typer, Algorithms & Eksempel

Hvad er forstærkende læring?

Forstærkningslæring er en Maskinelæring Metode, der beskæftiger sig med, hvordan softwareagenter skal handle i et miljø. Agenten får ikke vist de korrekte svar; den lærer af den belønning, den modtager, og justerer sin adfærd for at maksimere den kumulative belønning.

Forstærkningslæring er en selvstændig gren af ​​maskinlæring, sammen med overvåget og uden opsyn læring. Når agentens politik- eller værdifunktion er repræsenteret af et neuralt netværk, kaldes kombinationen dyb forstærkende læring — at parring er det, der gør det muligt for en agent at opnå et komplekst mål eller maksimere en specifik dimension over mange trin.

Vigtige komponenter i forstærkningslæringsmetoden

Før algoritmerne giver mening, er det en god idé at navngive delene. Diagrammet nedenfor viser, hvordan agenten, miljøet, handlingen og belønningssignalet passer sammen i ét loop.

Her er nogle vigtige termer, der bruges i forstærkningslæring:

• Agenter: Den enhed, der udfører handlinger i et miljø for at opnå en belønning.
• Miljø (e): Et scenarie, som en agent skal stå over for.
• Belønning (R): En øjeblikkelig modydelse givet til en agent, når den udfører en specifik handling eller opgave.
• Stat(er): Tilstand refererer til den aktuelle situation, der returneres af miljøet.
• Politik (π): Den strategi, som agenten anvender til at beslutte den næste handling baseret på den nuværende tilstand.
• Værdi (V): Det forventede langsigtede afkast med rabat sammenlignet med det kortsigtede afkast.
• Værdi funktion: Den specificerer værdien af ​​en tilstand, det vil sige det samlede belønningsbeløb, en agent kan forvente at akkumulere startende fra den pågældende tilstand.
• Model af miljøet: Dette efterligner miljøets adfærd. Det giver dig mulighed for at drage slutninger og også bestemme, hvordan miljøet vil opføre sig.
• Modelbaserede metoder: Metoder, der løser problemer med forstærkningslæring ved først at lære eller bruge en model af miljøet og derefter planlægge i forhold til det.
• Q-værdi eller handlingsværdi (Q): Q-værdi er ret lig værdi. Den eneste forskel mellem de to er, at den kræver en ekstra parameter, den aktuelle handling.

Hvordan fungerer forstærkningslæring?

En hverdagsanalogi gør mekanismen klar, før nogen notation optræder.

Overvej scenariet, hvor du lærer din kat nye tricks.

• Da katten ikke forstår engelsk eller noget andet menneskesprog, kan vi ikke direkte fortælle den, hvad den skal gøre. I stedet følger vi en anden strategi.
• Vi efterligner en situation, og katten forsøger at reagere på mange forskellige måder. Hvis kattens reaktion er den ønskede, giver vi den fisk.
• Når katten nu udsættes for den samme situation, udfører den en lignende handling endnu mere entusiastisk i forventning om at få mere belønning (mad).
• Det er den læring, katten får om, "hvad den skal gøre", fra positive oplevelser.
• Samtidig lærer katten også, hvad den ikke skal gøre, når den står over for negative oplevelser.

Eksempel på forstærkende læring

Figuren nedenfor overfører kattehistorien til det formelle loop, hvor husstanden er miljøet og fisken er belønningen.

I dette tilfælde,

• Din kat er et miljøpåvirket middel. I dette tilfælde er det dit hus. Et eksempel på en tilstand kunne være, at din kat passer, og du bruger et specifikt ord for at få katten til at gå.
• Vores agent reagerer ved at udføre en handlingsovergang fra én "stat" til en anden "stat".
• For eksempel går din kat fra at sidde til at gå.
• En agents reaktion er en handling, og politikken er en metode til at vælge en handling givet en tilstand i forventning om bedre resultater.
• Efter overgangen kan agenten modtage en belønning eller straf til gengæld.

Forstærkningslæring Algorithms

Der er tre tilgange til implementering af en Reinforcement Learning-algoritme, og de adskiller sig primært i, hvad agenten lagrer og lærer.

Værdibaseret

I en værdibaseret forstærkningslæringsmetode forsøger man at maksimere en værdifunktion V(s). I denne metode forventer agenten et langsigtet afkast af de nuværende tilstande under politik π.

Politikbaseret

I en politikbaseret RL-metode forsøger du at udarbejde en politik, således at den handling, der udføres i hver stat, hjælper dig med at opnå maksimal belønning i fremtiden.

To typer politikbaserede metoder er:

• Deterministisk: For enhver tilstand produceres den samme handling af politikken π.
• Stokastisk: Enhver handling har en vis sandsynlighed, givet ved følgende ligning.

Stokastisk politik:

π(a|s) = P[At = a | St = s]

Modelbaseret

I denne metode til forstærkningslæring opretter du en virtuel model for hvert miljø. Agenten lærer at præstere i det specifikke miljø.

Karakteristika ved forstærkningslæring

Her er vigtige karakteristika ved forstærkningslæring:

• Der er ingen supervisor, kun et reelt tal eller belønningssignal
• Sekventiel beslutningstagning
• Tid spiller en afgørende rolle i forstærkningsproblemer
• Feedback er ofte forsinket snarere end øjeblikkelig
• Agentens handlinger bestemmer de efterfølgende data, den modtager

Typer af forstærkningslæring

Ordet "forstærkning" er lånt fra adfærdspsykologi, og det findes i to former:

Positiv:

Det defineres som en begivenhed, der opstår på grund af en specifik adfærd. Det øger styrken og hyppigheden af ​​adfærden og påvirker den handling, som aktøren foretager, positivt.

Denne type forstærkning hjælper dig med at maksimere ydeevnen og opretholde forandring i en længere periode. For meget forstærkning kan dog føre til overoptimering af tilstanden, hvilket kan påvirke resultaterne.

Negativ:

Negativ forstærkning defineres som styrkelse af adfærd, der opstår på grund af en negativ tilstand, som burde have været stoppet eller undgået. Den hjælper dig med at definere minimumsstandarden for præstation. Ulempen ved denne metode er dog, at den kun giver nok til at opfylde minimumsadfærden.

Læringsmodeller for forstærkning

Der er to vigtige læringsmodeller i forstærkende læring:

• Markovs beslutningsproces
• Q læring

Markovs beslutningsproces

Følgende parametre bruges til at finde en løsning:

• Sæt af handlinger – A
• Sæt af tilstande – S
• Belønning – R
• Politik – π
• Værdi – V

Den matematiske tilgang til kortlægningping En løsning i Reinforcement Learning er formaliseret som en Markov-beslutningsproces eller MDP. Skematisk set viser disse fem parametre, der er forbundet med den samme agent-miljø-cyklus.

Q-læring

Q-læring er en værdibaseret metode til at levere information, der fortæller en agent, hvilken handling der skal foretages.

Lad os forstå denne metode med følgende eksempel:

• Der er fem værelser i en bygning, som er forbundet med døre.
• Hvert værelse er nummereret fra 0 til 4
• Bygningens yderside kan behandles som ét stort udendørsområde (5)
• Dør nummer 1 og 4 fører ind i bygningen fra værelse 5

Plantegningen nedenfor nummererer disse rum og viser, hvilke døre der forbinder dem.

Dernæst skal du knytte en belønningsværdi til hver dør:

• Døre, der fører direkte til målet, har en belønning på 100
• Døre, der ikke er direkte forbundet med målrummet, giver nul belønning
• Da dørene er tovejs, er der tildelt to pile til hvert rum
• Hver pil på billedet ovenfor har en øjeblikkelig belønningsværdi

Forklaring: I dette billede repræsenterer hvert rum en tilstand, og agentens bevægelse fra et rum til et andet repræsenterer en handling.

I grafen nedenfor er en tilstand tegnet som en node, mens pilene viser de tilgængelige handlinger og den belønning, der er knyttet til hver af dem.

For eksempel går en agent fra rumnummer 2 til 5:

• Starttilstand = tilstand 2
• Tilstand 2-> tilstand 3
• Tilstand 3 -> tilstand (2,1,4)
• Tilstand 4-> tilstand (0,5,3)
• Tilstand 1-> tilstand (5,3)
• Tilstand 0-> tilstand 4

Forstærkende læring vs. overvåget læring

Den klareste måde at placere forstærkende læring på er at sætte den ved siden af ​​det paradigme, som de fleste læsere allerede kender.

Anvendelser af forstærkende læring

Her er anvendelser af Reinforcement Learning:

• Robotik til industriel automatisering.
• Planlægning af forretningsstrategi
• Maskinlæring og databehandling
• Det hjælper dig med at oprette træningssystemer, der leverer skræddersyet undervisning og materialer i henhold til de studerendes behov.
• Flykontrol og robotbevægelseskontrol

Hvorfor bruge Reinforcement Learning?

Her er de vigtigste grunde til at bruge Reinforcement Learning:

• Det hjælper dig med at finde ud af, hvilken situation der kræver handling
• Hjælper dig med at finde ud af, hvilken handling der giver den højeste belønning over en længere periode
• Forstærkende læring giver også læringsagenten en belønningsfunktion.
• Det giver også agenten mulighed for at finde den bedste metode til at opnå store belønninger

Hvornår skal man ikke bruge forstærkningslæring?

Du kan ikke anvende en model for forstærkningslæring i alle situationer. Her er nogle forhold, hvor du ikke bør bruge en.

• Når du har nok mærkede data til at løse problemet med en overvåget læringsmetode
• Forstærkningslæring er computertung og tidskrævende, især når handlingsrummet er stort.

Udfordringer ved forstærkningslæring

Her er de største udfordringer, du vil møde, når du laver forstærkende læring:

• Funktions- og belønningsdesign, som kan være meget involveret
• Parametre kan påvirke indlæringshastigheden.
• Realistiske miljøer kan have delvis observerbarhed.
• For meget forstærkning kan føre til en overbelastning af tilstande, hvilket kan forringe resultaterne.
• Realistiske miljøer kan være ikke-stationære.

Ofte Stillede Spørgsmål