Rygudbredelse i neuralt netværk: Machine Learning Algorithm

Før vi lærer Back Propagation Neural Network (BPNN), lad os forstå:

Hvad er kunstige neurale netværk?

Et neuralt netværk er en gruppe af forbundne I/O-enheder, hvor hver forbindelse har en vægt forbundet med dens computerprogrammer. Det hjælper dig med at bygge prædiktive modeller fra store databaser. Denne model bygger på det menneskelige nervesystem. Det hjælper dig med at udføre billedforståelse, menneskelig læring, computertale osv.

Hvad er Backpropagation?

Tilbageformning er essensen af ​​neurale netværkstræning. Det er metoden til at finjustere vægten af ​​et neuralt netværk baseret på fejlraten opnået i den foregående epoke (dvs. iteration). Korrekt justering af vægtene giver dig mulighed for at reducere fejlprocenter og gøre modellen pålidelig ved at øge dens generalisering.

Tilbageudbredelse i neurale netværk er en kort form for "udbredelse af fejl bagud." Det er en standardmetode til træning af kunstige neurale netværk. Denne metode hjælper med at beregne gradienten af ​​en tabsfunktion med hensyn til alle vægtene i netværket.

Hvordan Backpropagation Algoritme virker

Tilbageudbredelsesalgoritmen i neurale netværk beregner gradienten af ​​tabsfunktionen for en enkelt vægt ved hjælp af kædereglen. Det beregner effektivt ét lag ad gangen, i modsætning til en indbygget direkte beregning. Den beregner gradienten, men den definerer ikke, hvordan gradienten bruges. Det generaliserer beregningen i deltareglen.

Overvej følgende eksempeldiagram for tilbage-udbredelse af neurale netværk for at forstå:

1. Indgange X ankommer gennem den forudforbundne vej
2. Input modelleres ved hjælp af reelle vægte W. Vægtene er normalt tilfældigt udvalgt.
3. Beregn output for hver neuron fra inputlaget, til de skjulte lag, til outputlaget.
4. Beregn fejlen i udgangene

ErrorB= Actual Output – Desired Output

5. Rejs tilbage fra outputlaget til det skjulte lag for at justere vægtene, så fejlen mindskes.

Fortsæt med at gentage processen, indtil det ønskede output er opnået

Hvorfor har vi brug for backpropagation?

De mest fremtrædende fordele ved Backpropagation er:

• Backpropagation er hurtig, enkel og nem at programmere
• Den har ingen parametre at indstille udover antallet af input
• Det er en fleksibel metode, da den ikke kræver forudgående viden om netværket
• Det er en standardmetode, der generelt fungerer godt
• Det behøver ikke nogen særlig omtale af funktionerne i funktionen for at blive lært.

Hvad er et feed-forward-netværk?

Et feedforward neuralt netværk er et kunstigt neuralt netværk, hvor noderne aldrig danner en cyklus. Denne type neurale netværk har et inputlag, skjulte lag og et outputlag. Det er den første og enkleste type kunstigt neurale netværk.

Typer af backpropagation netværk

To typer backpropagation netværk er:

• Statisk tilbage-udbredelse
• Tilbagevendende Backpropagation

Statisk tilbage-udbredelse

Det er en slags backpropagation-netværk, der producerer et kortping af statisk input til statisk output. Det er nyttigt til at løse problemer med statisk klassificering, såsom optisk tegngenkendelse.

Tilbagevendende Backpropagation

Tilbagevendende tilbage-udbredelse i datamining føres frem, indtil en fast værdi er opnået. Derefter beregnes fejlen og spredes baglæns.

Hovedforskellen mellem de to metoder er: at kortetping er hurtig i statisk tilbagepropagation, mens den er ikke-statisk i tilbagevendende tilbagepropagation.

Historien om tilbagepropagation

• I 1961 blev det grundlæggende begreb om kontinuerlig backpropagation udledt i sammenhæng med kontrolteori af J. Kelly, Henry Arthur og E. Bryson.
• I 1969 gav Bryson og Ho en flertrins dynamisk systemoptimeringsmetode.
• I 1974 udtalte Werbos muligheden for at anvende dette princip i et kunstigt neuralt netværk.
• I 1982 bragte Hopfield sin idé om et neuralt netværk.
• I 1986, ved indsats af David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, vandt tilbagepropagation anerkendelse.
• I 1993 var Wan den første person, der vandt en international mønstergenkendelseskonkurrence ved hjælp af tilbageformeringsmetoden.

Bagudbredelse Nøglepunkter

• Forenkler netværksstrukturen med elementvægtede links, der har mindst effekt på det trænede netværk
• Du skal studere en gruppe af input- og aktiveringsværdier for at udvikle forholdet mellem input- og skjulte enhedslag.
• Det hjælper med at vurdere den indvirkning, som en given inputvariabel har på et netværksoutput. Den viden, der opnås fra denne analyse, bør repræsenteres i regler.
• Backpropagation er især nyttig for dybe neurale netværk, der arbejder på fejltilbøjelige projekter, såsom billed- eller talegenkendelse.
• Tilbagepropagering udnytter kæden, og strømreglerne gør det muligt for tilbageudbredelse at fungere med et vilkårligt antal udgange.

Bedste praksis Backpropagation

Backpropagation i neurale netværk kan forklares ved hjælp af "Shoe Lace" analogi

For lidt spænding =

• Ikke nok begrænsende og meget løs

For meget spænding =

• For meget begrænsning (overtræning)
• Tager for meget tid (relativt langsom proces)
• Højere sandsynlighed for at gå i stykker

Trækker en snøre mere end andre =

• Ubehag (bias)

Ulemper ved at bruge Backpropagation

• Den faktiske ydeevne af backpropagation på et specifikt problem afhænger af inputdataene.
• Tilbageudbredelsesalgoritme i datamining kan være ret følsom over for støjende data
• Du skal bruge den matrix-baserede tilgang til backpropagation i stedet for mini-batch.

Resumé

• Et neuralt netværk er en gruppe af tilsluttede it I/O-enheder, hvor hver forbindelse har en vægt forbundet med dens computerprogrammer.
• Backpropagation er en kort form for "bagudspredelse af fejl." Det er en standardmetode til træning af kunstige neurale netværk
• Tilbage udbredelse algoritme i machine learning er hurtig, enkel og nem at programmere
• Et feedforward BPN-netværk er et kunstigt neuralt netværk.
• To typer backpropagation netværk er 1) Statisk back-propagation 2) Tilbagevendende backpropagation
• I 1961 blev det grundlæggende begreb om kontinuerlig backpropagation udledt i sammenhæng med kontrolteori af J. Kelly, Henry Arthur og E. Bryson.
• Rygudbredelse ind data mining forenkler netværksstrukturen ved at fjerne vægtede links, der har en minimal effekt på det trænede netværk.
• Det er især nyttigt for dybe neurale netværk, der arbejder på fejltilbøjelige projekter, såsom billed- eller talegenkendelse.
• Den største ulempe ved Backpropagation er, at den kan være følsom over for støjende data.