Backpropagation in neuronalen Netzen: ML-Algorithmus & Beispiel

Was ist ein künstliches neuronales Netz?

Ein künstliches neuronales Netzwerk besteht aus einer Gruppe verbundener Ein-/Ausgabeeinheiten, wobei jede Verbindung ein Gewicht trägt. Es hilft beim Erstellen von Vorhersagemodellen aus großen Datenbanken und orientiert sich in seinem Design an der Architektur des menschlichen Nervensystems. Solche Netzwerke unterstützen Bildverarbeitung, maschinelles Lernen, Spracherkennung und viele weitere Aufgaben der Mustererkennung.

Die Backpropagation ist der Algorithmus, der entscheidet, wie diese Gewichte aussehen sollen; daher sollten die beiden Konzepte am besten zusammen betrachtet werden.

Was ist Backpropagation?

Die Backpropagation ist die Grundlage des Trainings neuronaler Netze. Sie dient der Feinabstimmung der Gewichte eines neuronalen Netzes anhand der Fehlerrate der vorherigen Epoche (Iteration). Durch die korrekte Anpassung der Gewichte lassen sich Fehlerraten reduzieren und die Zuverlässigkeit des Modells durch eine verbesserte Generalisierungsfähigkeit erhöhen.

Backpropagation in neuronalen Netzwerken ist eine Kurzform für „Rückwärtsausbreitung von Fehlern“. Es handelt sich um eine Standardmethode zum Training künstlicher neuronaler Netze. Diese Methode hilft bei der Berechnung des Gradienten einer Verlustfunktion in Bezug auf alle Gewichte im Netzwerk.

Zwei Begriffe werden oft verwechselt. Nur Rückpropagation. berechnet Der Gradient; ein Optimierer wie Gradientenabstieg ist das, was tatsächlich Änderungen Die Gewichte werden mithilfe dieses Gradienten berechnet. Fast jedes moderne Framework führt die Rückpropagation automatisch über seine Autodiff-Engine durch.

So funktioniert der Backpropagation-Algorithmus

Der Backpropagation-Algorithmus in neuronalen Netzen berechnet den Gradienten der Verlustfunktion für ein einzelnes Gewicht mithilfe der Kettenregel. Im Gegensatz zu einer direkten Berechnung berechnet er effizient jeweils eine Schicht. Er berechnet zwar den Gradienten, definiert aber nicht dessen Verwendung. Die Berechnung wird durch die Delta-Regel verallgemeinert.

Die Kettenregel ist der Grund für die Effizienz dieses Verfahrens. Der Einfluss eines frühen Gewichts auf den endgültigen Verlust ergibt sich aus dem Produkt der lokalen Ableitungen entlang des Pfades zum Ausgang. Daher speichert der Algorithmus das Zwischenergebnis jeder Schicht auf dem Rückweg und verwendet es für jedes Gewicht in der darunterliegenden Schicht wieder, anstatt das gesamte Netzwerk für jedes Gewicht neu zu berechnen.

Betrachten Sie das folgende Beispieldiagramm eines Backpropagation-Neuronalen Netzes, um dies zu verstehen. Die Abbildung tracEs ist ein vollständiger Durchlauf: Die Eingaben kommen von links herein, die Aktivierungen wandern durch die verborgene Schicht zum Ausgang, und der gemessene Fehler wandert dann über dieselben Verbindungen zurück, um die Gewichte zu korrigieren.

1. Eingänge X kommen über den vorverbundenen Pfad an
2. Die Eingabe wird mithilfe realer Gewichte W modelliert. Die Gewichte werden normalerweise zufällig ausgewählt.
3. Berechnen Sie die Ausgabe für jedes Neuron von der Eingabeschicht über die verborgenen Schichten bis zur Ausgabeschicht.
4. Berechnen Sie den Fehler in den Ausgaben:

   ErrorB= Actual Output – Desired Output
   

5. Gehen Sie von der Ausgabeebene zurück zur verborgenen Ebene, um die Gewichte so anzupassen, dass der Fehler verringert wird.
6. Wiederholen Sie den Vorgang so lange, bis das gewünschte Ergebnis erzielt ist.

Viele Lehrbücher schreiben die gleiche Menge wie Sollwert minus IstwertBeide Konventionen funktionieren, da das Vorzeichen beim Optimierer-Substitutionsprozess absorbiert wird.tracts ist der Gradient, vorausgesetzt, Sie halten sich im gesamten Netzwerk an eine einheitliche Konvention.

In der Praxis handelt es sich bei dem Fehler selten um einen bloßen Unterfehler.tracEine Verlustfunktion wie der mittlere quadratische Fehler bei der Regression oder die Kreuzentropie bei der Klassifizierung wandelt die Differenzen pro Ausgabe in die einzelne Zahl um, deren Gradienten-Backpropagation tatsächlich berechnet.

Warum brauchen wir Backpropagation?

Die wichtigsten Vorteile der Backpropagation sind:

• Backpropagation ist schnell, einfach und leicht zu programmieren
• Es fügt keine eigenen neuen Parameter hinzu; die von Ihnen vorgenommene Feinabstimmung obliegt dem Optimierer und dem Netzwerk, hauptsächlich der Lernrate und der Anzahl der Eingaben.
• Es handelt sich um eine flexible Methode, da keine Vorkenntnisse über das Netzwerk erforderlich sind
• Es handelt sich um eine Standardmethode, die im Allgemeinen gut funktioniert
• Es bedarf keiner besonderen Erwähnung der Merkmale der zu erlernenden Funktion.

Vereinfacht gesagt, wäre das Training von Modellen, die tiefer als eine einzige Schicht reichen, ohne eine effiziente Methode zur Gradientenberechnung rechnerisch nicht praktikabel.

Was ist ein Feed-Forward-Netzwerk?

Ein vorwärtsgerichtetes neuronales Netzwerk ist ein künstliches neuronales Netzwerk, bei dem die Knoten niemals einen Zyklus bilden. Diese Art von neuronalem Netzwerk verfügt über eine Eingabeschicht, verborgene Schichten und eine Ausgabeschicht. Es ist die erste und einfachste Art eines künstlichen neuronalen Netzwerks.

Die Unterscheidung ist hier wichtig, weil der Vorwärtsdurchlauf der Rückpropagation genau ein Feedforward-Durchlauf ist; nur die Fehlerkorrektur läuft in die entgegengesetzte Richtung.

Arten von Backpropagation-Netzwerken

Zwei Arten von Backpropagation-Netzwerken sind:

• Statische Rückausbreitung
• Wiederkehrende Backpropagation

Statische Rückausbreitung

Es handelt sich um eine Art Backpropagation-Netzwerk, das eine Karte erzeugt.ping Eine statische Eingabe für eine statische Ausgabe. Dies ist nützlich zur Lösung statischer Klassifizierungsprobleme wie der optischen Zeichenerkennung.

Wiederkehrende Backpropagation

Rekurrente Rückpropagation in Data Mining Die Daten werden so lange vorwärtsgeführt, bis ein fester Wert erreicht ist. Anschließend wird der Fehler berechnet und rückwärts propagiert.

Der Hauptunterschied zwischen diesen beiden Methoden besteht darin, dass die Karteping Die statische Rückpropagation verläuft schnell, die rekursive Rückpropagation hingegen nicht. Die folgende Tabelle vergleicht beide Verfahren.

Geschichte der Backpropagation

• Im Jahr 1961 wurde das Grundkonzept der kontinuierlichen Rückpropagation im Kontext der Kontrolltheorie von J. Kelly, Henry Arthur und E. Bryson hergeleitet.
• Im Jahr 1969 stellten Bryson und Ho eine mehrstufige dynamische Systemoptimierungsmethode vor.
• 1970 veröffentlichte Seppo Linnainmaa die umgekehrte Methode der automatischen Differenzierung, die Berechnungsmethode, auf der die moderne Backpropagation basiert.
• 1974 stellte Werbos die Möglichkeit fest, dieses Prinzip in einem künstlichen neuronalen Netzwerk anzuwenden.
• 1982 brachte Hopfield seine Idee eines neuronalen Netzwerks vor.
• Im Jahr 1986 erlangte die Backpropagation durch die Bemühungen von David E. Rumelhart, Geoffrey E. Hinton und Ronald J. Williams Anerkennung.
• Im Jahr 1989 trainierten Yann LeCun und seine Kollegen ein Faltungsnetzwerk mit Backpropagation, um handgeschriebene Ziffern zu lesen – eine der ersten groß angelegten praktischen Anwendungen.
• 1993 gewann Wan als erster Mensch einen internationalen Mustererkennungswettbewerb mit Hilfe der Backpropagation-Methode.
• Hintons Arbeit über Deep Belief Networks und schichtweises Vortraining im Jahr 2006 weckte das Interesse am Training tiefer neuronaler Netze neu, das aufgrund verschwindender Gradienten ins Stocken geraten war.
• Im Jahr 2010 analysierten Xavier Glorot und Yoshua Bengio, warum tiefe neuronale Netze schwer zu trainieren sind, und führten eine verbesserte Gewichtsinitialisierung ein, die zusammen mit ReLU-Aktivierungsfunktionen die tiefe Backpropagation praktikabel machte.
• Im Jahr 2012 gewann AlexNet (Krizhevsky, Sutskever und Hinton) den ImageNet-Wettbewerb mithilfe von GPU-beschleunigter Backpropagation und löste damit den modernen Boom des Deep Learning aus.
• Im Jahr 2014 wurde der Adam-Optimierer (Kingma und Ba) eingeführt und wurde schnell zur Standardvariante des Gradientenabstiegs, die mit Backpropagation verwendet wird.
• Im Jahr 2015 wurden mit Batch-Normalisierung und Residualnetzwerken (ResNet) Gradientenflussprobleme in sehr tiefen Netzwerken gelöst, wodurch die Rückpropagation durch Hunderte von Schichten ermöglicht wurde.
• In den Jahren 2015-2017 wurden TensorFlow und Py verwendet.Torch machte die automatische Differenzierung zu einer Standardfunktion der Software, sodass Gradienten nicht mehr von Hand abgeleitet werden mussten.
• Im Jahr 2017 wurde die Transformer-Architektur eingeführt, die wie die darauf aufbauenden großen Sprachmodelle end-to-end mit Backpropagation trainiert wird.
• Im Jahr 2019 erhielten Bengio, Hinton und LeCun den ACM AM Turing Award für ihre Arbeit über tiefe neuronale Netze.
• Im Jahr 2020 argumentierten Lillicrap, Santoro, Marris, Akerman und Hinton in ihrer Arbeit „Backpropagation and the Brain“, dass das Gehirn möglicherweise ein backpropagationähnliches Lernen annähern könne, und eröffneten damit die Debatte um die biologische Plausibilität neu.
• Im Jahr 2022 schlug Hinton den Forward-Forward-Algorithmus vor, eine Trainingsmethode, die einen Rückwärtsdurchlauf vollständig vermeidet.
• Im Jahr 2024 wurden John Hopfield und Geoffrey Hinton mit dem Nobelpreis für Physik für grundlegende Entdeckungen ausgezeichnet, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichten.
• Im Jahr 2025 wurden Vorwärts-Vorwärts-Methoden auf Faltungsnetzwerke erweitert, wodurch gezeigt wurde, dass ein Training ohne Rückpropagation auch bei Bildklassifizierungsaufgaben funktionieren kann.
• Auch im Jahr 2026 bleibt die Backpropagation der Standard-Trainingsalgorithmus für praktisch alle Deep-Learning-Modelle, während die Forschung an gradientenfreien, lokalen und parallelen Lernmethoden, die den Speicher- und Rechenaufwand reduzieren, weitergeht.

Wichtige Punkte der Backpropagation

• Vereinfacht die Netzwerkstruktur durch Entfernen gewichteter Verbindungen, die den geringsten Einfluss auf das trainierte Netzwerk haben.
• Sie müssen eine Gruppe von Eingabe- und Aktivierungswerten untersuchen, um die Beziehung zwischen der Eingabeebene und der Ebene der verborgenen Einheit zu entwickeln.
• Es hilft bei der Beurteilung der Auswirkungen, die eine bestimmte Eingabevariable auf eine Netzwerkausgabe hat. Die aus dieser Analyse gewonnenen Erkenntnisse sollen in Regeln dargestellt werden.
• Backpropagation ist besonders nützlich für tiefe neuronale Netze, die an fehleranfälligen Projekten wie der Bild- oder Spracherkennung arbeiten.
• Die Backpropagation nutzt die Ketten- und Potenzregeln, wodurch sie mit einer beliebigen Anzahl von Ausgängen funktioniert.

beste Praxis für Backpropagation

Die Backpropagation in neuronalen Netzen lässt sich anhand der Analogie mit den Schnürsenkeln erklären. Gewichtsaktualisierungen verhalten sich ähnlich wie die Spannung eines Schnürsenkels: Zu wenig Spannung hält nichts zusammen, zu viel Spannung reißt etwas.

Aus dieser Analogie ergeben sich zwei praktische Gewohnheiten: Skalieren Sie die Eingaben vor dem Training, damit kein einzelnes Merkmal stärker beansprucht wird als die anderen, und beobachten Sie den Validierungsverlust, damit die Spannung abgebaut wird, bevor es zu Übertraining kommt.

Nachteile der Verwendung von Backpropagation

• Die tatsächliche Leistung der Backpropagation bei einem bestimmten Problem hängt von den Eingabedaten ab.
• Der Backpropagation-Algorithmus beim Data Mining kann sehr empfindlich auf verrauschte Daten reagieren
• Bei einem Mini-Batch sollte die Backpropagation mit einem matrixbasierten Ansatz implementiert werden; sieheping Die Bearbeitung eines einzelnen Beispiels ist deutlich langsamer.
• In tiefen neuronalen Netzen kann die wiederholte Multiplikation kleiner Ableitungen Gradienten gegen Null schrumpfen lassen, sodass die frühesten Schichten kaum lernen – das im Folgenden beschriebene Problem des verschwindenden Gradienten. Google Crashkurs für maschinelles Lernen.

Keiner dieser Gründe schließt die Methode aus. Sie sind die Gründe, warum Anwender bei der Umstellung von einem flachen Netzwerk auf ein komplexeres Netzwerk auf ReLU-Aktivierungsfunktionen, Normalisierung und sorgfältig geplante Lernraten zurückgreifen. tiefe Lernen Modell.

Häufig gestellte Fragen