Deep-Learning-Tutorial für Anfänger: Grundlagen neuronaler Netze
Evelyn Clarke
⚡ Intelligente Zusammenfassung
Deep Learning ist ein Zweig des maschinellen Lernens, der auf künstlichen neuronalen Netzen basiert, die viele verborgene Schichten übereinander stapeln, sodass jede Schicht ein reichhaltigeres Merkmal der Daten lernt als die vorherige Schicht.
Was ist Deep Learning?
Deep Learning ist Computersoftware, die das Netzwerk von Neuronen im Gehirn nachbildet. Es ist ein Teilgebiet von … Maschinelles Lernen Es basiert auf künstlichen neuronalen Netzen mit Repräsentationslernen. Man spricht von Deep Learning, weil es tiefe neuronale Netze nutzt. Dieses Lernen kann sein Aufsicht, halbbeaufsichtigt oder unbeaufsichtigt.
Deep-Learning-Algorithmen sind aus miteinander verbundenen Schichten aufgebaut, wie das untenstehende Diagramm zeigt.
- Die erste Ebene wird Eingabeebene genannt
- Die letzte Ebene wird als Ausgabeebene bezeichnet
- Alle dazwischenliegenden Schichten werden als verborgene Schichten bezeichnet. Der Begriff „tief“ bedeutet, dass das Netzwerk Neuronen über mehr als zwei Schichten hinweg verbindet.
Jede verborgene Schicht besteht aus Neuronen. Die Neuronen sind miteinander verbunden. Ein Neuron verarbeitet das empfangene Eingangssignal und leitet das Ergebnis an die darüberliegende Schicht weiter. Die Stärke des Signals, das an ein Neuron in der nächsten Schicht weitergeleitet wird, hängt von den Gewichten, dem Bias und der Aktivierungsfunktion ab.
Das Netzwerk verarbeitet große Mengen an Eingangsdaten und arbeitet diese über mehrere Schichten hinweg, sodass das Netzwerk auf jeder Schicht zunehmend komplexere Merkmale der Daten erlernen kann.
Deep-Learning-Prozess
Tiefe neuronale Netze erzielen in vielen Aufgaben, von der Objekterkennung bis zur Spracherkennung, höchste Genauigkeit. Solche Netze können automatisch lernen, ohne dass vordefiniertes Wissen explizit von den Programmierern codiert werden muss. In der Praxis durchläuft ein Deep-Learning-Projekt fünf Phasen:
- Verstehe das Problem
- Identifizieren Sie die Daten
- Wählen Sie einen Deep-Learning-Algorithmus aus.
- Trainiere das Modell
- Testen Sie das Modell
Um das Konzept des tiefen Lernens zu verstehen, stellen Sie sich eine Familie mit einem Säugling und seinen Eltern vor. Das Kleinkind zeigt mit dem kleinen Finger auf Gegenstände und sagt immer wieder „Katze“. Da die Eltern sich um seine Entwicklung sorgen, sagen sie ihm immer wieder: „Ja, das ist eine Katze“ oder „Nein, das ist keine Katze“. Das Kind zeigt weiterhin auf Gegenstände, erkennt aber immer genauer, ob es eine Katze ist oder nicht. Tief in seinem Inneren weiß das Kind nicht, warum es sagen kann, ob es eine Katze ist oder nicht. Es hat einfach gelernt, die Merkmale einer Katze hierarchisch zu ordnen, indem es das Tier als Ganzes betrachtet und sich dann auf Details wie den Schwanz oder die Nase konzentriert, bevor es sich eine Meinung bildet.
Ein neuronales Netzwerk funktioniert im Prinzip genauso. Jede Schicht repräsentiert eine tiefere Wissensebene, also eine Wissenshierarchie. Ein neuronales Netzwerk mit vier Schichten lernt komplexere Merkmale als eines mit zwei Schichten.
Das Lernen erfolgt in zwei Phasen:
- Erste Phase: Anwendung einer nichtlinearen Transformation der Eingangsdaten und Erstellung eines statistischen Modells als Ausgabe.
- Zweite Phase: Verbesserung des Modells mit einer mathematischen Methode, die auf Ableitungen basiert, und zwar so: Backpropagation passt die Gewichte an.
Das neuronale Netzwerk wiederholt diese beiden Phasen Hunderte bis Tausende Male, bis es ein akzeptables Maß an Genauigkeit erreicht hat. Jede Wiederholung der beiden Phasen wird als Iteration bezeichnet.
Um ein Beispiel für Deep Learning zu geben, sehen Sie sich die folgende Animation an, in der das Modell versucht, tanzen zu lernen. Nach 10 Minuten Training kann das Modell immer noch nicht tanzen, und seine Ausgabe sieht aus wie Gekritzel.
Nach 48 Stunden Lernzeit beherrscht der Computer die Kunst des Tanzens, wie die zweite Animation zeigt.
Klassifizierung neuronaler Netze
Die Netzwerke werden zunächst nach der Anzahl der verborgenen Schichten gruppiert.
Flaches neuronales Netzwerk: Das flache neuronale Netzwerk besitzt nur eine einzige verborgene Schicht zwischen Eingabe und Ausgabe.
Tiefes neuronales Netzwerk: Tiefe neuronale Netze besitzen mehr als eine verborgene Schicht. Beispielsweise zählt das GoogLeNet-Modell zur Bilderkennung 22 Schichten.
Heute findet man Deep Learning in fahrerlosen Autos, Mobiltelefonen, Google Suchmaschine, Betrugserkennung und Fernsehen.
Arten von Deep-Learning-Netzwerken
Mehrere Architekturen haben sich als Standard etabliert, jede geprägt durch die Art der verarbeiteten Daten. Die untenstehende Grafik, veröffentlicht vom Asimov-Institut, zeigt die gesamte Bandbreite an Architekturen.
Feed-Forward-Neuronale Netze
Dies ist der einfachste Typ eines künstlichen neuronalen Netzes. Bei dieser Architektur fließt die Information nur in eine Richtung, nämlich vorwärts. Das bedeutet, der Informationsfluss beginnt in der Eingabeschicht, verläuft zu den verborgenen Schichten und endet in der Ausgabeschicht. Das Netz besitzt keine Schleife, und die Information stoppt an der Ausgabeschicht.
Rekurrente neuronale Netze (RNNs)
An RNN Ein Regressionsnetzwerk (RNN) ist ein mehrschichtiges neuronales Netzwerk, das Informationen in Kontextknoten speichert und dadurch Datensequenzen lernt und eine Zahl oder eine andere Sequenz ausgibt. Vereinfacht gesagt handelt es sich um ein künstliches neuronales Netzwerk, dessen Verbindungen zwischen den Neuronen Schleifen enthalten. RNNs eignen sich gut zur Verarbeitung von Eingabesequenzen, da die Ausgabe als Speicher wieder in das Netzwerk eingespeist wird.
Wenn die Aufgabe beispielsweise darin besteht, das nächste Wort im Satz „Möchten Sie ein …?“ vorherzusagen, geht das Netzwerk folgendermaßen vor:
- Die RNN-Neuronen empfangen ein Signal, das auf den Anfang des Satzes hinweist.
- Das Netzwerk empfängt das Wort „Do“ als Eingabe und erzeugt einen Zahlenvektor. Dieser Vektor wird an das Neuron zurückgesendet, um dem Netzwerk eine Erinnerung zu geben. Dieser Schritt hilft dem Netzwerk, sich zu merken, dass es „Do“ empfangen hat und dass es an erster Stelle stand.
- Das Netzwerk verfährt mit den nächsten Wörtern analog. Es verarbeitet das Wort „you“ und anschließend „want“. Der Zustand der Neuronen wird bei jedem empfangenen Wort aktualisiert.
- Die letzte Phase erfolgt nach dem Empfang des Wortes „a“. Das neuronale Netzwerk berechnet eine Wahrscheinlichkeit für jedes englische Wort, das den Satz vervollständigen könnte. Ein gut trainiertes RNN ordnet Wörtern wie „café“, „drink“, „burger“ und ähnlichen Wörtern wahrscheinlich eine hohe Wahrscheinlichkeit zu.
Häufige Verwendungen von RNN
- Helfen Sie Wertpapierhändlern bei der Erstellung von Analyseberichten
- Unregelmäßigkeiten in Finanzberichten erkennen
- Betrügerische Kreditkartentransaktionen erkennen
- Geben Sie für Bilder eine Bildunterschrift an
- Tuning Chatbots
- Die typischen Anwendungsgebiete von RNNs sind die Arbeit mit Zeitreihendaten oder Sequenzen, beispielsweise Audioaufnahmen oder Texten.
Faltungs-Neuronale Netze (CNN)
A CNN ist ein mehrschichtiges neuronales Netzwerk mit einer einzigartigen Architektur, die entwickelt wurde, umtracCNNs analysieren in jeder Schicht zunehmend komplexere Merkmale der Daten, um die Ausgabe zu bestimmen. Sie eignen sich daher gut für Wahrnehmungsaufgaben.
CNNs werden hauptsächlich dann eingesetzt, wenn unstrukturierte Datensätze wie Bilder vorliegen und Anwender Schwierigkeiten haben, diese zu analysieren.tract Informationen daraus.
Wenn die Aufgabe beispielsweise darin besteht, eine Bildunterschrift vorherzusagen:
- Das CNN empfängt ein Bild, sagen wir, von einer Katze. In der Informatik ist dieses Bild eine Ansammlung von Pixeln, im Allgemeinen eine Ebene für ein Graustufenbild und drei Ebenen für ein Farbbild.
- Während der Merkmalslernphase, also in den verborgenen Schichten, identifiziert das Netzwerk einzigartige Merkmale, zum Beispiel den Schwanz der Katze oder das Ohr.
- Sobald das Netzwerk gelernt hat, Bilder vollständig zu erkennen, kann es für jede ihm bekannte Bildklasse eine Wahrscheinlichkeit angeben. Die Klasse mit der höchsten Wahrscheinlichkeit wird zur Vorhersage des Netzwerks.
Verstärkung lernen
Verstärkung lernen Deep Learning ist ein Teilgebiet des maschinellen Lernens, in dem Systeme durch virtuelle „Belohnungen“ oder „Bestrafungen“ trainiert werden und somit im Wesentlichen durch Versuch und Irrtum lernen. Es handelt sich eher um ein Lernparadigma als um eine Netzwerkstruktur, aber seine modernen Algorithmen basieren auf tiefen neuronalen Netzen. GoogleDeepMind nutzte Reinforcement Learning, um einen menschlichen Go-Champion zu besiegen. Reinforcement Learning wird auch in Videospielen eingesetzt, um das Spielerlebnis durch intelligentere Bots zu verbessern.
Zu den bekanntesten Algorithmen gehören:
- Q-Learning
- Deep Q-Netzwerk
- State-Action-Reward-State-Action (SARSA)
- Deep Deterministic Policy Gradient (DDPG)
Die folgende Tabelle fasst zusammen, wann welche Architektur geeignet ist.
| Architektur | Daten, zu denen es passt | Unterscheidungsmerkmal | Typische Aufgabe |
|---|---|---|---|
| Feed-Forward | tabellarische Eingabe fester Länge | Keine Schleifen; Informationen fließen nur vorwärts | Bewertung und einfache Klassifizierung |
| Rekurrentes neuronales Netz (RNN) | Sequenzen und Zeitreihen | Kontextknoten geben ihm Speicher | Textvorhersage, Audiovorhersage, Prognose |
| Faltungsneuron (CNN) | Rasterartige unstrukturierte Daten | Faltung und Pooling (z. B.)tract-Funktionen | Bildklassifizierung und Bildunterschrift |
| Verstärkung lernen | Eine Umgebung, kein Datensatz | Lernt aus Belohnungen und Bestrafungen | Spielagenten, Robotik, Steuerung |
Beispiele für Anwendungen von Deep Learning
Diese Architekturen sind bereits in ganz unterschiedlichen Branchen im Einsatz:
KI im Finanzwesen
Der Finanztechnologiesektor nutzt bereits KI, um Zeit zu sparen, Kosten zu senken und Mehrwert zu schaffen. Deep Learning revolutioniert die Kreditvergabe durch robustere Kreditbewertungen. Kreditentscheider können KI für Kreditanträge einsetzen, um eine schnellere und genauere Risikobewertung zu erreichen, indem sie mithilfe von maschineller Intelligenz die Persönlichkeit und Leistungsfähigkeit der Antragsteller berücksichtigen.
Underwrite ist ein Fintech-Unternehmen, das eine KI-Lösung für Kreditentscheider anbietet. underwrite.ai nutzt KI, um zu ermitteln, welcher Antragsteller mit höherer Wahrscheinlichkeit einen Kredit zurückzahlen wird – ein Ansatz, der laut Unternehmen herkömmlichen Bewertungsmethoden überlegen ist.
KI im Personalwesen
Under Armour, ein Sportbekleidungsunternehmen revolutUnder Armour hat den Einstellungsprozess mithilfe von KI ionisiert und die Candidate Experience modernisiert. 2012 erlebte das Unternehmen einen sprunghaften Anstieg des Interesses und erhielt durchschnittlich über 30,000 Bewerbungen pro Monat. Die Bearbeitung all dieser Bewerbungen sowie die anschließende Vorauswahl und die Vorstellungsgespräche dauerten zu lange. Dieser langwierige Einstellungs- und Onboarding-Prozess beeinträchtigte die Fähigkeit von Under Armour, seine Filialen vollständig zu besetzen, den Betrieb schnellstmöglich aufzunehmen und die Filialen betriebsbereit zu machen.
Zu diesem Zeitpunkt verfügte Under Armour über die gesamte notwendige HR-Technologie, wie beispielsweise Transaktionslösungen für die Personalbeschaffung und -bewerbung. tracUnder Armour nutzte bereits verschiedene Tools für Personalbeschaffung und -entwicklung, doch diese allein reichten nicht aus. Daher entschied sich das Unternehmen für HireVue, einen KI-gestützten Anbieter von HR-Lösungen, für On-Demand- und Live-Interviews. Die Ergebnisse waren beeindruckend: Under Armour konnte die Besetzungszeit um 35 % verkürzen und gleichzeitig die Qualität der eingestellten Mitarbeiter steigern.
KI im Marketing
Künstliche Intelligenz (KI) ist ein wertvolles Werkzeug für das Kundenservice-Management und die Personalisierung. Die verbesserte Spracherkennung im Callcenter-Management und die optimierte Anrufweiterleitung durch den Einsatz von KI-Techniken ermöglichen ein reibungsloseres Kundenerlebnis.
Die Analyse von Audiodaten mittels Deep Learning ermöglicht es Systemen beispielsweise, die emotionale Stimmung eines Kunden zu erfassen. Reagiert der Kunde negativ auf den KI-Chatbot, kann das System das Gespräch an einen menschlichen Mitarbeiter weiterleiten, der sich des Problems annimmt.
Abgesehen von den drei oben genannten Beispielen für Deep Learning wird KI auch in anderen Sektoren und Branchen häufig eingesetzt.
Warum ist Deep Learning wichtig?
Deep Learning ist ein leistungsstarkes Werkzeug, um Vorhersagen in konkrete Maßnahmen umzusetzen. Deep Learning zeichnet sich durch Mustererkennung und wissensbasierte Vorhersagen aus. Große Daten ist der Treibstoff für tiefgreifendes Lernen. Wenn beides kombiniert wird, kann eine Organisation Ergebnisse in den Bereichen Produktivität, Umsatz, Management und Innovation erzielen, die zuvor unerreichbar waren.
Deep Learning kann auch traditionelle Methoden übertreffen. Insbesondere bei Wahrnehmungsproblemen sind tiefe neuronale Netze seit Jahren führend: Bildklassifizierung, Spracherkennung und Gesichtserkennung werden allesamt von tiefen Architekturen dominiert, wobei Modelle zur Gesichtserkennung auf gängigen öffentlichen Benchmarks eine Genauigkeit von nahezu 99 % erreichen. Dieser Vorteil ergibt sich daraus, dass das Netzwerk seine eigenen Merkmale lernt, anstatt auf manuell erstellte Merkmale zurückzugreifen.
Einschränkungen des Deep Learning
Diese Ergebnisse haben ihren Preis.
Datenkennzeichnung
Die meisten aktuellen KI-Modelle werden durch überwachtes Lernen trainiert. Das bedeutet, dass Menschen die zugrunde liegenden Daten kennzeichnen und kategorisieren müssen, was eine umfangreiche und fehleranfällige Aufgabe sein kann. Beispielsweise entwickeln Unternehmenping Für die Entwicklung von Technologien für selbstfahrende Autos werden Hunderte von Mitarbeitern eingesetzt, die stundenlange Videoaufnahmen von Prototypfahrzeugen manuell annotieren, um diese Systeme zu trainieren.
Erhalten Sie riesige Trainingsdatensätze
Es hat sich gezeigt, dass Deep-Learning-Verfahren wie CNN in manchen Fällen das Wissen von Experten in der Medizin und anderen Fachgebieten imitieren können. Diese neue Welle des maschinellen Lernens erfordert jedoch Trainingsdatensätze, die nicht nur beschriftet, sondern auch ausreichend umfangreich und universell sind.
Deep-Learning-Methoden benötigen Tausende von Beobachtungen, damit Modelle bei Klassifizierungsaufgaben einigermaßen gut werden, und in manchen Fällen Millionen, um das Niveau des Menschen zu erreichen. Es überrascht daher nicht, dass Deep Learning vor allem bei großen Technologieunternehmen eingesetzt wird, die Big Data nutzen, um Petabytes an Beispielen zu sammeln. Diese Größenordnung ermöglicht es ihnen, beeindruckende und hochpräzise Deep-Learning-Modelle zu erstellen.
Erklären Sie ein Problem
Große und komplexe Modelle lassen sich oft schwer in menschlichen Begriffen erklären, beispielsweise warum eine bestimmte Entscheidung getroffen wurde. Das ist ein Grund dafür, dass die Akzeptanz mancher Modelle schwierig ist. künstliche Intelligenz Tools ist langsam in Anwendungsbereichen, in denen Interpretierbarkeit nützlich oder sogar erforderlich ist.
Darüber hinaus könnten mit der zunehmenden Anwendung von KI auch regulatorische Anforderungen den Bedarf an besser erklärbaren KI-Modellen erhöhen.
