Terugpropagatie in neuraal netwerk: machine learning-algoritme

Voordat we het Back Propagation Neural Network (BPNN) leren, moeten we het volgende begrijpen:

Wat zijn kunstmatige neurale netwerken?

Een neuraal netwerk is een groep verbonden I/O-eenheden waarbij elke verbinding een gewicht heeft dat is gekoppeld aan de computerprogramma's. Het helpt u voorspellende modellen te bouwen op basis van grote databases. Dit model bouwt voort op het menselijke zenuwstelsel. Het helpt u bij het begrijpen van beelden, het leren van mensen, computerspraak, enz.

Wat is backpropagatie?

terugpropagatie is de essentie van neurale netwerktraining. Het is de methode voor het verfijnen van de gewichten van een neuraal netwerk op basis van het foutenpercentage dat in het vorige tijdperk is verkregen (dwz iteratie). Door de gewichten goed af te stemmen, kunt u de foutpercentages verminderen en het model betrouwbaar maken door de generalisatie ervan te vergroten.

Backpropagation in neural network is een korte vorm voor ‘achterwaartse propagatie van fouten’. Het is een standaardmethode voor het trainen van kunstmatige neurale netwerken. Deze methode helpt bij het berekenen van de gradiënt van een verliesfunctie ten opzichte van alle gewichten in het netwerk.

Hoe het backpropagatie-algoritme werkt

Het Back propagation-algoritme in een neuraal netwerk berekent de gradiënt van de verliesfunctie voor een enkel gewicht door de kettingregel. Het berekent efficiënt één laag per keer, in tegenstelling tot een native directe berekening. Het berekent de gradiënt, maar het definieert niet hoe de gradiënt wordt gebruikt. Het generaliseert de berekening in de deltaregel.

Bekijk het volgende voorbeelddiagram van een backpropagation neuraal netwerk om het te begrijpen:

1. Ingangen X arriveren via het vooraf verbonden pad
2. De invoer wordt gemodelleerd met behulp van echte gewichten W. De gewichten worden meestal willekeurig geselecteerd.
3. Bereken de uitvoer voor elk neuron, van de invoerlaag tot de verborgen lagen en de uitvoerlaag.
4. Bereken de fout in de uitgangen

ErrorB= Actual Output – Desired Output

5. Ga terug van de uitvoerlaag naar de verborgen laag om de gewichten zo aan te passen dat de fout kleiner wordt.

Blijf het proces herhalen totdat de gewenste output is bereikt

Waarom hebben we backpropagatie nodig?

De meest opvallende voordelen van Backpropagation zijn:

• Backpropagatie is snel, eenvoudig en gemakkelijk te programmeren
• Er zijn geen parameters die aangepast moeten worden, afgezien van de invoeraantallen
• Het is een flexibele methode omdat er geen voorkennis over het netwerk vereist is
• Het is een standaardmethode die over het algemeen goed werkt
• Er is geen speciale vermelding nodig van de kenmerken van de te leren functie.

Wat is een Feed Forward-netwerk?

Een feedforward neuraal netwerk is een kunstmatig neuraal netwerk waarbij de knooppunten nooit een cyclus vormen. Dit soort neuraal netwerk heeft een invoerlaag, verborgen lagen en een uitvoerlaag. Het is het eerste en eenvoudigste type kunstmatige neurale netwerk.

Soorten backpropagatienetwerken

Er zijn twee soorten backpropagatienetwerken:

• Statische achterwaartse voortplanting
• Terugkerende backpropagatie

Statische achterwaartse voortplanting

Het is een soort backpropagatienetwerk dat een mapping produceert van een statische invoer voor een statische uitvoer. Het is nuttig om statische classificatieproblemen op te lossen, zoals optische tekenherkenning.

Terugkerende backpropagatie

Terugkerende back-propagatie in datamining wordt naar voren gevoerd totdat een vaste waarde is bereikt. Daarna wordt de fout berekend en naar achteren doorgegeven.

Het belangrijkste verschil tussen beide methoden is dat de mapping snel is bij statische backpropagatie, terwijl deze niet-statisch is bij terugkerende backpropagatie.

Geschiedenis van backpropagatie

• In 1961 werd het basisconcept van continue backpropagation afgeleid in de context van de controletheorie door J. Kelly, Henry Arthur en E. Bryson.
• In 1969 presenteerden Bryson en Ho een meertraps dynamische systeemoptimalisatiemethode.
• In 1974 stelde Werbos de mogelijkheid voor om dit principe toe te passen in een kunstmatig neuraal netwerk.
• In 1982 bracht Hopfield zijn idee van een neuraal netwerk naar voren.
• In 1986 kreeg backpropagation, dankzij de inspanningen van David E. Rumelhart, Geoffrey E. Hinton en Ronald J. Williams, erkenning.
• In 1993 was Wan de eerste persoon die een internationale patroonherkenningswedstrijd won met behulp van de backpropagation-methode.

Kernpunten van backpropagatie

• Vereenvoudigt de netwerkstructuur door elementengewogen links die het minste effect hebben op het getrainde netwerk
• Je moet een groep invoer- en activeringswaarden bestuderen om de relatie tussen de invoer- en verborgen eenheidslagen te ontwikkelen.
• Het helpt bij het beoordelen van de impact die een bepaalde invoervariabele heeft op een netwerkuitvoer. De kennis die uit deze analyse wordt verkregen, moet in regels worden weergegeven.
• Backpropagatie is vooral nuttig voor diepe neurale netwerken die werken aan foutgevoelige projecten, zoals beeld- of spraakherkenning.
• Backpropagatie maakt gebruik van de keten- en machtsregels waardoor backpropagatie kan functioneren met een willekeurig aantal uitgangen.

Beste praktijk Backpropagatie

Backpropagatie in een neuraal netwerk kan worden verklaard met behulp van de ‘Shoe Lace’-analogie

Te weinig spanning =

• Niet genoeg beperkend en erg los

Te veel spanning =

• Te veel dwang (overtraining)
• Te veel tijd in beslag nemen (relatief langzaam proces)
• Grotere kans op breuk

Aan de ene veter meer trekken dan aan de andere =

• Ongemak (vooroordeel)

Nadelen van het gebruik van backpropagatie

• De daadwerkelijke prestaties van backpropagation voor een specifiek probleem zijn afhankelijk van de invoergegevens.
• Het back-propagatie-algoritme in datamining kan behoorlijk gevoelig zijn voor ruis
• U moet de matrixgebaseerde aanpak voor backpropagation gebruiken in plaats van minibatch.

Samenvatting

• Een neuraal netwerk is een groep verbonden I/O-eenheden waarbij elke verbinding een gewicht heeft dat is gekoppeld aan de computerprogramma's.
• Backpropagation is een korte vorm voor ‘achterwaartse propagatie van fouten’. Het is een standaardmethode voor het trainen van kunstmatige neurale netwerken
• Terugpropagatie-algoritme in machine learning is snel, eenvoudig en gemakkelijk te programmeren
• Een feedforward BPN-netwerk is een kunstmatig neuraal netwerk.
• Er zijn twee soorten backpropagatienetwerken: 1) Statische backpropagatie 2) Terugkerende backpropagatie
• In 1961 werd het basisconcept van continue backpropagation afgeleid in de context van de controletheorie door J. Kelly, Henry Arthur en E. Bryson.
• Terugkweek in datamining vereenvoudigt de netwerkstructuur door gewogen links te verwijderen die een minimaal effect hebben op het getrainde netwerk.
• Het is vooral handig voor diepe neurale netwerken die werken aan foutgevoelige projecten, zoals beeld- of spraakherkenning.
• Het grootste nadeel van Backpropagation is dat het gevoelig kan zijn voor gegevens met veel ruis.