Ryggspredning i nevralt nettverk: Maskinlæringsalgoritme

Før vi lærer Back Propagation Neural Network (BPNN), la oss forstå:

Hva er kunstige nevrale nettverk?

Et nevralt nettverk er en gruppe tilkoblede I/O-enheter der hver tilkobling har en vekt knyttet til sine dataprogrammer. Det hjelper deg å bygge prediktive modeller fra store databaser. Denne modellen bygger på det menneskelige nervesystemet. Det hjelper deg å utføre bildeforståelse, menneskelig læring, datatale osv.

Hva er Backpropagation?

Tilbakepropagering er essensen av nevrale nettverkstrening. Det er metoden for å finjustere vektene til et nevralt nettverk basert på feilraten oppnådd i forrige epoke (dvs. iterasjon). Riktig justering av vektene lar deg redusere feilraten og gjøre modellen pålitelig ved å øke generaliseringen.

Tilbakepropagering i nevrale nettverk er en kortform for "spredning av feil bakover." Det er en standard metode for å trene kunstige nevrale nettverk. Denne metoden hjelper til med å beregne gradienten til en tapsfunksjon med hensyn til alle vektene i nettverket.

Hvordan Backpropagation Algoritme fungerer

Tilbakeforplantningsalgoritmen i nevrale nettverk beregner gradienten til tapsfunksjonen for en enkelt vekt ved hjelp av kjederegelen. Den beregner effektivt ett lag om gangen, i motsetning til en naturlig direkte beregning. Den beregner gradienten, men den definerer ikke hvordan gradienten brukes. Den generaliserer beregningen i deltaregelen.

Tenk på følgende eksempeldiagram for tilbakepropagasjon av nevrale nettverk for å forstå:

1. Innganger X kommer gjennom den forhåndstilkoblede banen
2. Inndata modelleres ved hjelp av reelle vekter W. Vektene er vanligvis tilfeldig valgt.
3. Beregn utgangen for hvert nevron fra inngangslaget, til de skjulte lagene, til utgangslaget.
4. Beregn feilen i utgangene

ErrorB= Actual Output – Desired Output

5. Reis tilbake fra utdatalaget til det skjulte laget for å justere vektene slik at feilen reduseres.

Fortsett å gjenta prosessen til ønsket resultat er oppnådd

Hvorfor trenger vi tilbakespredning?

De mest fremtredende fordelene med Backpropagation er:

• Tilbakepropagering er rask, enkel og enkel å programmere
• Den har ingen parametere å stille inn bortsett fra antall inndata
• Det er en fleksibel metode da den ikke krever forkunnskaper om nettverket
• Det er en standardmetode som generelt fungerer bra
• Det trenger ikke noen spesiell omtale av funksjonene til funksjonen for å læres.

Hva er et feed-forward-nettverk?

Et feedforward nevralt nettverk er et kunstig nevralt nettverk hvor nodene aldri danner en syklus. Denne typen nevrale nettverk har et inngangslag, skjulte lag og et utgangslag. Det er den første og enkleste typen kunstig nevrale nettverk.

Typer tilbakeforplantningsnettverk

To typer tilbakepropageringsnettverk er:

• Statisk ryggutbredelse
• Gjentatt tilbakepropagasjon

Statisk tilbakeformidling

Det er en type backpropagation-nettverk som produserer en kartlegging av en statisk inngang for statisk utgang. Det er nyttig å løse problemer med statisk klassifisering som optisk tegngjenkjenning.

Gjentatt tilbakepropagasjon

Tilbakevendende forplantning i data mining mates frem til en fast verdi er oppnådd. Etter det beregnes feilen og spres bakover.

Hovedforskjellen mellom begge disse metodene er: at kartleggingen er rask i statisk tilbake-propagering mens den er ikke-statisk i tilbakevendende tilbake-propagering.

Historie om tilbakepropagasjon

• I 1961 ble det grunnleggende konseptet for kontinuerlig tilbakepropagasjon utledet i sammenheng med kontrollteori av J. Kelly, Henry Arthur og E. Bryson.
• I 1969 ga Bryson og Ho en flertrinns dynamisk systemoptimaliseringsmetode.
• I 1974 uttalte Werbos muligheten for å anvende dette prinsippet i et kunstig nevralt nettverk.
• I 1982 kom Hopfield med ideen om et nevralt nettverk.
• I 1986, ved innsatsen til David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, fikk tilbakeforplantning anerkjennelse.
• I 1993 var Wan den første personen som vant en internasjonal mønstergjenkjenningskonkurranse ved hjelp av tilbakepropageringsmetoden.

Nøkkelpunkter for tilbakepropagasjon

• Forenkler nettverksstrukturen med elementvektede lenker som har minst effekt på det trente nettverket
• Du må studere en gruppe input- og aktiveringsverdier for å utvikle forholdet mellom input- og skjulte enhetslag.
• Det hjelper å vurdere innvirkningen en gitt inngangsvariabel har på en nettverksutgang. Kunnskapen oppnådd fra denne analysen bør representeres i regler.
• Tilbakepropagering er spesielt nyttig for dype nevrale nettverk som jobber med feilutsatte prosjekter, for eksempel bilde- eller talegjenkjenning.
• Tilbakepropagering drar fordel av kjeden og kraftreglene lar tilbakepropagering fungere med et hvilket som helst antall utganger.

Beste praksis Backpropagation

Tilbakepropagering i nevrale nettverk kan forklares ved hjelp av "Shoe Lace" analogi

For lite spenning =

• Ikke nok begrensende og veldig løs

For mye spenning =

• For mye begrensning (overtrening)
• Tar for mye tid (relativt langsom prosess)
• Høyere sannsynlighet for brudd

Å trekke en lisse mer enn andre =

• Ubehag (bias)

Ulemper ved å bruke Backpropagation

• Den faktiske ytelsen til backpropagation på et spesifikt problem er avhengig av inngangsdataene.
• Tilbakeforplantningsalgoritme i datautvinning kan være ganske følsomme for støyende data
• Du må bruke den matrisebaserte tilnærmingen for backpropagation i stedet for mini-batch.

Sammendrag

• Et nevralt nettverk er en gruppe koblede it I/O-enheter der hver tilkobling har en vekt knyttet til dataprogrammene.
• Tilbakepropagering er en kort form for "spredning av feil bakover." Det er en standard metode for å trene kunstige nevrale nettverk
• Tilbakeforplantningsalgoritme inn maskinlæring er rask, enkel og enkel å programmere
• Et feedforward BPN-nettverk er et kunstig nevralt nettverk.
• To typer tilbakeforplantningsnettverk er 1) Statisk tilbakepropagering 2) Tilbakevendende tilbakepropagasjon
• I 1961 ble det grunnleggende konseptet for kontinuerlig tilbakepropagasjon utledet i sammenheng med kontrollteori av J. Kelly, Henry Arthur og E. Bryson.
• Ryggformidling inn data mining forenkler nettverksstrukturen ved å fjerne vektede lenker som har minimal effekt på det trente nettverket.
• Det er spesielt nyttig for dype nevrale nettverk som jobber med feilutsatte prosjekter, for eksempel bilde- eller talegjenkjenning.
• Den største ulempen med Backpropagation er at den kan være følsom for støyende data.