Tagasi levik närvivõrgus: masinõppe algoritm

Enne kui õpime tundma tagasi levimise närvivõrku (BPNN), mõistame:

Mis on tehisnärvivõrgud?

Närvivõrk on ühendatud I/O-üksuste rühm, kus igal ühendusel on arvutiprogrammidega seotud kaal. See aitab teil suurtest andmebaasidest ennustavaid mudeleid luua. See mudel põhineb inimese närvisüsteemil. See aitab teil läbi viia pildi mõistmist, inimese õppimist, arvutikõnet jne.

Mis on backpropagation?

Tagasipaljundamine on närvivõrgu koolituse olemus. See on meetod närvivõrgu kaalude peenhäälestamiseks, mis põhineb eelmisel epohhil saadud veamääral (st iteratsioonil). Kaalude õige häälestamine võimaldab vähendada veamäära ja muuta mudel usaldusväärseks, suurendades selle üldistust.

Tagasi levitamine närvivõrgus on "vigade tagurpidi levitamise" lühike vorm. See on kunstlike närvivõrkude treenimise standardmeetod. See meetod aitab arvutada kadufunktsiooni gradiendi kõigi võrgus olevate kaalude suhtes.

Kuidas tagasilevitamise algoritm töötab

Tagasi levimise algoritm närvivõrgus arvutab ahelareegli järgi ühe kaalu kadufunktsiooni gradiendi. Erinevalt natiivsest otsearvutusest arvutab see tõhusalt välja ühe kihi korraga. See arvutab gradiendi, kuid ei määratle, kuidas gradienti kasutatakse. See üldistab deltareegli arvutamise.

Selle mõistmiseks kaaluge järgmist tagasilevimise närvivõrgu näidisskeemi:

1. Sisendid X, saabuvad eelühendatud tee kaudu
2. Sisend modelleeritakse tegelike kaalude W abil. Kaalud valitakse tavaliselt juhuslikult.
3. Arvutage iga neuroni väljund sisendkihist peidetud kihtideni ja väljundkihini.
4. Arvutage viga väljundites

ErrorB= Actual Output – Desired Output

5. Liikuge väljundkihilt tagasi peidetud kihti, et reguleerida kaalu nii, et viga väheneks.

Jätkake protsessi kordamist, kuni soovitud väljund on saavutatud

Miks me vajame tagasilevitamist?

Backpropagationi silmapaistvamad eelised on:

• Tagasipalumine on kiire, lihtne ja hõlpsasti programmeeritav
• Sellel pole häälestamiseks muid parameetreid peale sisendi numbrite
• See on paindlik meetod, kuna see ei nõua eelteadmisi võrgu kohta
• See on standardmeetod, mis töötab üldiselt hästi
• See ei vaja eraldi mainimist õpitava funktsiooni omaduste kohta.

Mis on edastusvõrk?

Edasisuunaline närvivõrk on kunstlik närvivõrk, kus sõlmed ei moodusta kunagi tsüklit. Seda tüüpi närvivõrgul on sisendkiht, peidetud kihid ja väljundkiht. See on esimene ja lihtsaim kunstliku närvivõrgu tüüp.

Tagasilevitavate võrkude tüübid

Tagasi levitamise võrke on kahte tüüpi:

• Staatiline tagasilevi
• Korduv tagasipaljundamine

Staatiline tagasilevi

See on üks tagasilevitamise võrgu liik, mis loob kaardiping staatilise sisendi staatilise väljundi jaoks. See on kasulik staatilise klassifitseerimise probleemide, näiteks optilise märgituvastuse, lahendamiseks.

Korduv tagasipaljundamine

Andmekaevanduse korduv tagasiliikumine suunatakse edasi, kuni saavutatakse fikseeritud väärtus. Pärast seda arvutatakse viga ja edastatakse tagurpidi.

Nende kahe meetodi peamine erinevus on see, et kaartping on staatilises tagasilevimises kiire, korduvas tagasilevimises aga mittestaatiline.

Backpropagation ajalugu

• 1961. aastal tuletasid J. Kelly, Henry Arthur ja E. Bryson kontrolliteooria kontekstis pideva tagasilevitamise põhikontseptsiooni.
• 1969. aastal andsid Bryson ja Ho mitmeastmelise dünaamilise süsteemi optimeerimise meetodi.
• 1974. aastal teatas Werbos võimalusest rakendada seda põhimõtet tehisnärvivõrgus.
• 1982. aastal tõi Hopfield oma idee närvivõrgust.
• David E. Rumelharti, Geoffrey E. Hintoni ja Ronald J. Williamsi jõupingutustel pälvis 1986. aastal tagasipaljundamine tunnustuse.
• 1993. aastal võitis Wan esimese inimesena rahvusvahelise mustrite tuvastamise võistluse backpropagation meetodi abil.

Tagasi levitamise põhipunktid

• Lihtsustab võrgustruktuuri elementide kaalutud linkide abil, millel on koolitatud võrgule kõige vähem mõju
• Peate uurima sisend- ja aktiveerimisväärtuste rühma, et arendada seost sisend- ja peidetud ühikukihtide vahel.
• See aitab hinnata mõju, mida antud sisendmuutuja avaldab võrguväljundile. Sellest analüüsist saadud teadmised tuleks esitada reeglites.
• Tagasi levitamine on eriti kasulik sügavate närvivõrkude jaoks, mis töötavad veaohtlike projektidega, nagu pildi- või kõnetuvastus.
• Tagasi levitamine kasutab ära ahelat ja võimsusreeglid võimaldavad tagasilevitamist suvalise arvu väljunditega.

Parim tava Backpropagation

Tagasi levimist närvivõrgus saab seletada “Kingapaela” analoogia abil

Liiga vähe pinget =

• Pole piisavalt piirav ja väga lõtv

Liiga palju pinget =

• Liiga palju piiranguid (ületreenimine)
• Liiga palju aega (suhteliselt aeglane protsess)
• Suurem purunemise tõenäosus

Tõmbates ühte pitsi rohkem kui teist =

• Ebamugavustunne (erapoolik)

Backpropagationi kasutamise puudused

• Tagasi levitamise tegelik jõudlus konkreetse probleemi korral sõltub sisendandmetest.
• Andmekaeve tagasilevimise algoritm võib olla mürarikaste andmete suhtes üsna tundlik
• Minipartii asemel peate tagasilevitamiseks kasutama maatriksipõhist lähenemisviisi.

kokkuvõte

• Närvivõrk on ühendatud sisend-väljundseadmete rühm, kus igal ühendusel on oma arvutiprogrammidega seotud kaal.
• Backpropagation on lühike vorm sõnadest "vigade tagurpidi levitamine". See on kunstlike närvivõrkude treenimise standardmeetod
• Tagasi levitamise algoritm sisse masinõpe on kiire, lihtne ja lihtsalt programmeeritav
• Edasisuunaline BPN-võrk on kunstlik närvivõrk.
• Kaks tüüpi tagasilevimise võrke on 1) staatiline tagasilevi 2) korduv tagasilevi
• 1961. aastal tuletasid J. Kelly, Henry Arthur ja E. Bryson kontrolliteooria kontekstis pideva tagasilevitamise põhikontseptsiooni.
• Tagasi levimine sisse andmete kaevandamine lihtsustab võrgu struktuuri, eemaldades kaalutud lingid, millel on treenitud võrgule minimaalne mõju.
• See on eriti kasulik sügavate närvivõrkude jaoks, mis töötavad veaohtlike projektidega, nagu pildi- või kõnetuvastus.
• Backpropagationi suurim puudus on see, et see võib olla mürarikaste andmete suhtes tundlik.