Ce este învățarea prin consolidare? Tipuri, Algorithms & Exemplu

Ce este învățarea prin întărire?

Consolidarea învățării este Invatare mecanica metodă care se ocupă de modul în care agenții software ar trebui să acționeze într-un mediu. Agentului nu i se arată răspunsuri corecte; acesta învață din recompensa pe care o primește și își ajustează comportamentul pentru a maximiza recompensa cumulativă.

Învățarea prin consolidare este o ramură a învățării automate în sine, alături de supravegheat și nesupravegheați învățare. Când funcția de politică sau de valoare a agentului este reprezentată de o rețea neuronală, combinația se numește învățare profundă de întărire — acea asociere este cea care permite unui agent să atingă un obiectiv complex sau să maximizeze o dimensiune specifică pe parcursul mai multor etape.

Componente importante ale metodei de învățare prin consolidare

Înainte ca algoritmii să capete sens, este util să denumim componentele. Diagrama de mai jos arată cum agentul, mediul, acțiunea și semnalul de recompensă se îmbină într-o singură buclă.

Iată câțiva termeni importanți utilizați în învățarea prin consolidare:

• Agenți: Entitatea care efectuează acțiuni într-un mediu pentru a obține o anumită recompensă.
• Mediu (e): Un scenariu cu care trebuie să se confrunte un agent.
• Recompensa (R): Un randament imediat acordat unui agent atunci când acesta efectuează o acțiune sau o sarcină specifică.
• Stat(e): Statul se referă la situația actuală returnată de mediu.
• Politică (π): Strategia aplicată de agent pentru a decide următoarea acțiune pe baza stării actuale.
• Valoare (V): Randamentul așteptat pe termen lung cu reducere, comparativ cu recompensa pe termen scurt.
• Funcția de valoare: Specifică valoarea unei stări, adică suma totală de recompensă pe care un agent se poate aștepta să o acumuleze începând de la starea respectivă.
• Model de mediu: Aceasta imită comportamentul mediului. Vă permite să faceți inferențe și, de asemenea, să determinați cum se va comporta mediul.
• Metode bazate pe modele: Metode care rezolvă problemele de învățare prin consolidare prin învățarea sau utilizarea mai întâi a unui model al mediului, apoi planificarea în funcție de acesta.
• Valoarea Q sau valoarea acțiunii (Q): Valoarea Q este destul de similară cu valoarea. Singura diferență dintre cele două este că primește un parametru suplimentar, acțiunea curentă.

Cum funcționează învățarea prin întărire?

O analogie cotidiană clarifică mecanismul înainte de a apărea vreo notație.

Luați în considerare scenariul în care o învățați pe pisica voastră trucuri noi.

• Întrucât pisica nu înțelege engleza sau nicio altă limbă umană, nu îi putem spune direct ce să facă. În schimb, urmăm o strategie diferită.
• Imităm o situație, iar pisica încearcă să reacționeze în multe feluri diferite. Dacă reacția pisicii este cea dorită, îi dăm pește.
• Acum, ori de câte ori pisica este expusă aceleiași situații, ea efectuează o acțiune similară cu și mai mult entuziasm, în așteptarea de a primi mai multă recompensă (hrană).
• Aceasta este învățarea pe care pisica o primește despre „ce să facă” din experiențele pozitive.
• În același timp, pisica învață și ce să nu facă atunci când se confruntă cu experiențe negative.

Exemplu de învățare prin întărire

Figura de mai jos plasează povestea pisicii în bucla formală, cu gospodăria ca mediu și peștele ca recompensă.

În acest caz,

• Pisica ta este un agent expus mediului înconjurător. În acest caz, este casa ta. Un exemplu de stare ar putea fi atunci când pisica ta stă și folosești un cuvânt specific pentru a o face să meargă.
• Agentul nostru reacționează efectuând o tranziție de acțiune de la o „stare” la alta „stare”.
• De exemplu, pisica ta trece de la șezut la mers.
• Reacția unui agent este o acțiune, iar politica este o metodă de selectare a unei acțiuni având în vedere o stare în așteptarea unor rezultate mai bune.
• După tranziție, agentul poate primi în schimb o recompensă sau o penalizare.

Consolidarea învățării Algorithms

Există trei abordări pentru implementarea unui algoritm de învățare prin consolidare, iar acestea diferă în principal prin ceea ce stochează și învață agentul.

Bazat pe valoare

Într-o metodă de învățare prin consolidare bazată pe valori, încerci să maximizezi o funcție valorică V(s). În această metodă, agentul se așteaptă la o revenire pe termen lung a stărilor actuale sub politica π.

Bazat pe politici

Într-o metodă RL bazată pe politici, încerci să elaborezi o politică astfel încât acțiunea efectuată în fiecare stare să te ajute să obții recompense maxime în viitor.

Două tipuri de metode bazate pe politici sunt:

• Determinist: Pentru orice stare, aceeași acțiune este produsă de politica π.
• Stochastic: Fiecare acțiune are o anumită probabilitate, dată de următoarea ecuație.

Politică stochastică:

π(a|s) = P[At = a | St = s]

Bazat pe model

În această metodă de învățare prin consolidare, creați un model virtual pentru fiecare mediu. Agentul învață să se comporte în acel mediu specific.

Caracteristicile învățării prin întărire

Iată câteva caracteristici importante ale învățării prin consolidare:

• Nu există un supraveghetor, doar un număr real sau un semnal de recompensă
• Luare secvenţială a deciziilor
• Timpul joacă un rol crucial în problemele de întărire
• Feedback-ul este adesea întârziat, nu instantaneu
• Acțiunile agentului determină datele ulterioare pe care le primește

Tipuri de învățare prin întărire

Cuvântul „întărire” este împrumutat din psihologia comportamentală și se prezintă sub două forme:

Pozitiv:

Este definit ca un eveniment care apare din cauza unui comportament specific. Acesta crește intensitatea și frecvența comportamentului și are un impact pozitiv asupra acțiunii întreprinse de agent.

Acest tip de consolidare vă ajută să maximizați performanța și să susțineți schimbarea pentru o perioadă mai lungă. Cu toate acestea, prea multă consolidare poate duce la o supraoptimizare a stării, ceea ce poate afecta rezultatele.

Negativ:

Întărirea negativă este definită ca întărirea unui comportament care apare din cauza unei condiții negative care ar fi trebuit oprită sau evitată. Aceasta vă ajută să definiți standardul minim de performanță. Cu toate acestea, dezavantajul acestei metode este că oferă doar suficient pentru a îndeplini comportamentul minim.

Modele de învățare de întărire

Există două modele importante de învățare în învățarea prin întărire:

• Procesul de decizie Markov
• Q învățare

Procesul de decizie Markov

Următorii parametri sunt utilizați pentru a obține o soluție:

• Set de acțiuni – A
• Set de stări – S
• Recompensă – R
• Politică – π
• Valoare – V

Abordarea matematică pentru hartăping O soluție în Învățarea prin Reîntărire este formalizată ca un Proces Decizional Markov sau MDP. Schema de mai jos prezintă acești cinci parametri conectați în același ciclu agent-mediu.

Q-Learning

Învățarea Q este o metodă bazată pe valori de furnizare a informațiilor care îi spune unui agent ce acțiune să întreprindă.

Să înțelegem această metodă cu următorul exemplu:

• Există cinci camere într-o clădire care sunt conectate prin uși.
• Fiecare cameră este numerotată de la 0 la 4
• Exteriorul clădirii poate fi tratat ca o singură zonă exterioară mare (5)
• Ușile numărul 1 și 4 duc în clădire din camera 5

Planul etajului de mai jos numerotează acele camere și arată ce uși le conectează.

Apoi, trebuie să asociați o valoare de recompensă fiecărei uși:

• Ușile care duc direct la obiectiv au o recompensă de 100
• Ușile care nu sunt conectate direct la camera țintă nu oferă nicio recompensă.
• Deoarece ușile sunt bidirecționale, fiecărei camere îi sunt atribuite câte două săgeți.
• Fiecare săgeată din imaginea de mai sus are o valoare de recompensă instantanee.

Explicaţie: În această imagine, fiecare cameră reprezintă o stare, iar mișcarea agentului dintr-o cameră în alta reprezintă o acțiune.

În graficul de mai jos, o stare este desenată ca un nod, în timp ce săgețile arată acțiunile disponibile și recompensa atașată fiecăreia dintre ele.

De exemplu, un agent traversează camera numărul 2 în camera 5:

• Starea inițială = starea 2
• Starea 2-> starea 3
• Stare 3 -> stare (2,1,4)
• Stare 4-> stare (0,5,3)
• Stare 1-> stare (5,3)
• Starea 0-> starea 4

Învățare prin consolidare vs. Învățare supravegheată

Cea mai clară modalitate de a plasa învățarea prin consolidare este de a o plasa alături de paradigma pe care majoritatea cititorilor o cunosc deja.

Aplicații ale învățării prin întărire

Iată aplicații ale învățării prin întărire:

• Robotică pentru automatizări industriale.
• Planificarea strategiei de afaceri
• Învățare automată și procesare a datelor
• Te ajută să creezi sisteme de instruire care oferă instrucțiuni și materiale personalizate în funcție de cerințele studenților.
• Controlul aeronavei și controlul mișcării robotului

De ce să folosiți Reinforcement Learning?

Iată principalele motive pentru a utiliza învățarea prin întărire:

• Te ajută să găsești ce situație necesită o acțiune
• Te ajută să descoperi care acțiune oferă cea mai mare recompensă pe o perioadă mai lungă de timp
• Învățarea prin consolidare oferă agentului de învățare și o funcție de recompensă
• De asemenea, îi permite agentului să găsească cea mai bună metodă pentru a obține recompense mari.

Când să nu folosiți învățarea prin întărire?

Nu poți aplica un model de învățare prin consolidare în fiecare situație. Iată câteva condiții în care nu ar trebui să îl utilizezi.

• Când aveți suficiente date etichetate pentru a rezolva problema cu o metodă de învățare supravegheată
• Învățarea prin consolidare necesită multă putere de calcul și mult timp, în special atunci când spațiul de acțiune este mare.

Provocările învățării prin întărire

Iată principalele provocări cu care te vei confrunta în timp ce practici învățarea prin consolidare:

• Designul caracteristicilor și al recompenselor, care poate fi foarte complex
• Parametrii pot afecta viteza de învățare.
• Mediile realiste pot avea observabilitate parțială.
• Prea multă întărire poate duce la o supraîncărcare a stărilor, ceea ce poate diminua rezultatele.
• Mediile realiste pot fi non-staționare.

Întrebări frecvente