Propagacija unatrag u neuronskoj mreži: algoritam strojnog učenja

Prije nego što naučimo povratnu neuronsku mrežu (BPNN), shvatimo:

Što su umjetne neuronske mreže?

Neuronska mreža je skupina povezanih I/O jedinica gdje svaka veza ima težinu povezanu s njezinim računalnim programima. Pomaže vam u izradi prediktivnih modela iz velikih baza podataka. Ovaj model temelji se na ljudskom živčanom sustavu. Pomaže vam u razumijevanju slike, ljudskom učenju, računalnom govoru itd.

Što je povratno širenje?

Širenje unatrag je bit treninga neuronske mreže. To je metoda finog podešavanja težina neuronske mreže na temelju stope pogreške dobivene u prethodnoj epohi (tj. iteraciji). Ispravno podešavanje utega omogućuje vam da smanjite stope pogrešaka i učinite model pouzdanim povećanjem njegove generalizacije.

Propagacija unatrag u neuronskoj mreži skraćeni je oblik za "propagaciju pogrešaka unatrag". To je standardna metoda treniranja umjetnih neuronskih mreža. Ova metoda pomaže izračunati gradijent funkcije gubitka s obzirom na sve težine u mreži.

Kako radi algoritam širenja unatrag

Algoritam povratne propagacije u neuronskoj mreži izračunava gradijent funkcije gubitka za jednu težinu prema lančanom pravilu. Učinkovito računa jedan po jedan sloj, za razliku od izvornog izravnog izračuna. Izračunava gradijent, ali ne definira kako se gradijent koristi. Generalizira izračun u delta pravilu.

Razmotrite sljedeći primjer dijagrama neuronske mreže propagacije unatrag da biste razumjeli:

1. Ulazi X, dolaze kroz predpovezani put
2. Ulaz se modelira korištenjem stvarnih težina W. Težine se obično odabiru nasumično.
3. Izračunajte izlaz za svaki neuron od ulaznog sloja, preko skrivenih slojeva, do izlaznog sloja.
4. Izračunajte pogrešku u izlazima

ErrorB= Actual Output – Desired Output

5. Vratite se s izlaznog sloja na skriveni sloj kako biste prilagodili težine tako da se pogreška smanji.

Nastavite ponavljati postupak dok se ne postigne željeni učinak

Zašto nam treba povratno širenje?

Najistaknutije prednosti širenja unatrag su:

• Propagacija unatrag je brza, jednostavna i laka za programiranje
• Nema parametara za ugađanje osim ulaznih brojeva
• To je fleksibilna metoda jer ne zahtijeva prethodno znanje o mreži
• To je standardna metoda koja općenito dobro funkcionira
• Ne treba posebno spominjati značajke funkcije koju treba naučiti.

Što je Feed Forward mreža?

Feedforward neuronska mreža je umjetna neuronska mreža u kojoj čvorovi nikada ne tvore ciklus. Ova vrsta neuronske mreže ima ulazni sloj, skrivene slojeve i izlazni sloj. To je prvi i najjednostavniji tip umjetne neuronske mreže.

Vrste mreža za širenje unatrag

Dvije vrste mreža za širenje unatrag su:

• Statičko širenje unatrag
• Rekurentno širenje unazad

Statičko povratno širenje

To je jedna vrsta mreže za širenje unatrag koja proizvodi mapiranje statičkog ulaza za statički izlaz. Korisno je riješiti probleme statičke klasifikacije poput optičkog prepoznavanja znakova.

Rekurentno širenje unazad

Rekurentna povratna propagacija u rudarenju podataka prenosi se naprijed dok se ne postigne fiksna vrijednost. Nakon toga, greška se izračunava i prenosi unatrag.

Glavna razlika između obje ove metode je da je preslikavanje brzo u statičkom povratnom širenju dok je nestatično u rekurentnom povratnom širenju.

Povijest povratnog širenja

• Godine 1961. J. Kelly, Henry Arthur i E. Bryson izveli su osnovni koncept kontinuiranog povratnog širenja u kontekstu teorije upravljanja.
• Godine 1969. Bryson i Ho dali su metodu višestupanjske optimizacije dinamičkog sustava.
• Godine 1974. Werbos je naveo mogućnost primjene ovog principa u umjetnoj neuronskoj mreži.
• Godine 1982. Hopfield je iznio svoju ideju neuronske mreže.
• Godine 1986., trudom Davida E. Rumelharta, Geoffreya E. Hintona, Ronalda J. Williamsa, backpropagation je dobio priznanje.
• Godine 1993. Wan je bio prva osoba koja je pobijedila na međunarodnom natjecanju u prepoznavanju uzoraka uz pomoć metode povratnog širenja.

Ključne točke širenja unatrag

• Pojednostavljuje strukturu mreže elementima ponderiranim vezama koje imaju najmanji učinak na obučenu mrežu
• Morate proučiti grupu ulaznih i aktivacijskih vrijednosti kako biste razvili odnos između ulaznih i skrivenih slojeva jedinica.
• Pomaže u procjeni utjecaja koji određena ulazna varijabla ima na mrežni izlaz. Znanje stečeno ovom analizom treba predstaviti u pravilima.
• Propagacija unatrag je posebno korisna za duboke neuronske mreže koje rade na projektima sklonim pogreškama, kao što je prepoznavanje slike ili govora.
• Širenje unatrag iskorištava pravila lanca i snage koje omogućuju funkcioniranje širenja unatrag s bilo kojim brojem izlaza.

Najbolja praksa Širenje unazad

Propagacija unatrag u neuronskoj mreži može se objasniti uz pomoć analogije "Šipke za cipele".

Premalo napetosti =

• Nedovoljno ograničavajuće i vrlo labavo

Previše napetosti =

• Previše ograničenja (pretreniranost)
• Oduzima previše vremena (relativno spor proces)
• Veća vjerojatnost loma

Povlačenje jedne vezice više od druge =

• Neudobnost (pristranost)

Nedostaci korištenja povratnog širenja

• Stvarna izvedba povratnog širenja na specifičnom problemu ovisi o ulaznim podacima.
• Algoritam povratne propagacije u rudarenju podataka može biti prilično osjetljiv na podatke s šumom
• Morate koristiti pristup temeljen na matrici za širenje unazad umjesto mini-serije.

Rezime

• Neuronska mreža je skupina povezanih I/O jedinica gdje svaka veza ima težinu povezanu s njezinim računalnim programima.
• Širenje unazad je skraćenica za "širenje grešaka unatrag". To je standardna metoda treniranja umjetnih neuronskih mreža
• Algoritam povratne propagacije u stroj za učenje je brz, jednostavan i lak za programiranje
• Feedforward BPN mreža je umjetna neuronska mreža.
• Dvije vrste mreža za širenje unatrag su 1) Statičko širenje unatrag 2) Ponavljajuće širenje unatrag
• Godine 1961. J. Kelly, Henry Arthur i E. Bryson izveli su osnovni koncept kontinuiranog povratnog širenja u kontekstu teorije upravljanja.
• Povratno širenje u data mining pojednostavljuje mrežnu strukturu uklanjanjem ponderiranih veza koje imaju minimalan učinak na obučenu mrežu.
• Posebno je koristan za duboke neuronske mreže koje rade na projektima sklonim pogreškama, kao što je prepoznavanje slike ili govora.
• Najveći nedostatak Backpropagation-a je taj što može biti osjetljiv na bučne podatke.