Tutorial zum maschinellen Lernen für Anfänger: Was ist, Grundlagen von ML
Evelyn Clarke
⚡ Intelligente Zusammenfassung
Maschinelles Lernen ist eine Familie von Computeralgorithmen, die sich anhand von Beispielen verbessern, anstatt explizit codiert zu werden. Sie kombinieren Daten mit statistischen Werkzeugen, um Ergebnisse vorherzusagen, die Menschen in konkrete Entscheidungen umsetzen können.
Was ist maschinelles Lernen?
Maschinelles lernen Maschinelles Lernen ist ein System von Computer-Algorithmen, die durch Selbstverbesserung aus Beispielen lernen können, ohne explizit von einem Programmierer codiert zu werden. Maschinelles Lernen ist ein Teilgebiet der Informatik. künstliche Intelligenz Dabei werden Daten mit statistischen Werkzeugen kombiniert, um ein Ergebnis vorherzusagen, das zur Ableitung von konkreten Handlungsempfehlungen genutzt werden kann.
Der Durchbruch besteht in der Erkenntnis, dass eine Maschine selbstständig aus Daten (d. h. Beispielen) lernen und präzise Ergebnisse liefern kann. Maschinelles Lernen ist eng verwandt mit Data Mining und Bayes'sche Vorhersagemodellierung. Die Maschine empfängt Daten als Eingabe und verwendet einen Algorithmus, um Antworten zu formulieren.
Eine typische Aufgabe im maschinellen Lernen ist die Abgabe einer Empfehlung. Für diejenigen, die eine Netflix Bei diesem Konto basieren alle Film- und Serienempfehlungen auf den bisherigen Daten des Nutzers. Technologieunternehmen nutzen unbeaufsichtigtes Lernen um die Benutzererfahrung durch personalisierte Empfehlungen zu verbessern.
Maschinelles Lernen wird auch für eine Vielzahl von Aufgaben eingesetzt, wie z. B. Betrugserkennung, vorausschauende Wartung, Portfoliooptimierung und Aufgabenautomatisierung.
Maschinelles Lernen vs. traditionelle Programmierung
Die traditionelle Programmierung unterscheidet sich grundlegend vom maschinellen Lernen. Bei der traditionellen Programmierung formuliert ein Programmierer alle Regeln in Absprache mit einem Branchenexperten, für den die Software entwickelt wird. Jede Regel basiert auf einer logischen Grundlage; die Maschine erzeugt eine Ausgabe, indem sie dieser logischen Anweisung folgt. Mit zunehmender Komplexität des Systems müssen immer mehr Regeln geschrieben werden, was die Wartung schnell undurchführbar macht. Das folgende Diagramm veranschaulicht diesen Ablauf: Daten und manuell erstellte Regeln werden eingegeben, und die Ergebnisse werden ausgegeben.
Maschinelles Lernen soll dieses Problem lösen. Die Maschine lernt, wie Eingabe- und Ausgabedaten korreliert sind, und formuliert die Regel selbst. Programmierer müssen nicht jedes Mal neue Regeln schreiben, wenn neue Daten vorliegen. Die Algorithmen passen sich anhand neuer Daten und Erfahrungen an, um ihre Effizienz im Laufe der Zeit zu verbessern. Das zweite Diagramm kehrt das erste um: Daten und bekannte Antworten werden eingegeben, und die Regel wird ausgegeben.
Wie funktioniert maschinelles Lernen?
Nachdem dieser Kontrast geklärt ist, stellt sich die nächste Frage: Was geschieht eigentlich innerhalb des Lernprozesses?
Maschinelles Lernen ist das Gehirn, in dem das Lernen stattfindet. Die Art und Weise, wie die Maschine lernt, ähnelt der des Menschen. Menschen lernen aus Erfahrung: Je mehr wir wissen, desto leichter können wir Vorhersagen treffen. Analog dazu ist die Erfolgswahrscheinlichkeit in einer unbekannten Situation geringer als in einer bekannten. Maschinen werden auf dieselbe Weise trainiert. Um eine präzise Vorhersage zu treffen, sieht die Maschine ein Beispiel. Wenn wir ihr ein ähnliches Beispiel geben, kann sie das Ergebnis vorhersagen. Doch wie der Mensch hat auch die Maschine Schwierigkeiten, Vorhersagen zu treffen, wenn sie ein zuvor unbekanntes Beispiel erhält.
Die Kernziele des maschinellen Lernens sind Lernen und Schlussfolgerung. Zunächst lernt die Maschine durch das Erkennen von Mustern, und diese Erkennung wird durch die Daten ermöglicht. Eine entscheidende Aufgabe des Data Scientists ist die sorgfältige Auswahl der Daten, die der Maschine zur Verfügung gestellt werden. Die Liste der Attribute, die zur Lösung eines Problems verwendet werden, wird als Datenrepertoire bezeichnet. Feature-VektorMan kann sich einen Merkmalsvektor als eine Teilmenge von Daten vorstellen, die zur Lösung eines Problems verwendet wird.
Die Maschine verwendet Algorithmen, um die Realität zu vereinfachen und diese Erkenntnis in ein Modell umzuwandeln. Die Lernphase dient daher dazu, die Daten zu beschreiben und in einem Modell zusammenzufassen, wie unten dargestellt.
Die Maschine versucht beispielsweise, den Zusammenhang zwischen dem Lohn einer Person und der Wahrscheinlichkeit eines Restaurantbesuchs zu verstehen. Dabei stellt sie einen positiven Zusammenhang zwischen Lohn und Restaurantbesuch fest: Dies ist das Modell.
Ableiten
Sobald das Modell erstellt ist, kann seine Leistungsfähigkeit anhand unbekannter Daten getestet werden. Die neuen Daten werden in einen Merkmalsvektor umgewandelt, durch das Modell geleitet und liefern eine Vorhersage. Dies ist der wertvolle Aspekt des maschinellen Lernens. Es ist nicht nötig, die Regeln zu aktualisieren oder das Modell erneut zu trainieren – das zuvor trainierte Modell kann direkt für die Vorhersage neuer Daten verwendet werden, wie die folgende Abbildung zeigt.
Der Lebenszyklus eines maschinellen Lernprogramms ist unkompliziert und lässt sich in folgenden Punkten zusammenfassen:
- Definiere eine Frage
- Daten sammeln
- Daten visualisieren
- Trainieren Sie den Algorithmus
- Testen Sie den Algorithmus
- Sammeln Sie Feedback
- Verfeinern Sie den Algorithmus
- Wiederholen Sie die Schritte 4 bis 7, bis die Ergebnisse zufriedenstellend sind.
- Verwenden Sie das Modell, um eine Vorhersage zu treffen
Sobald der Algorithmus die richtigen Schlussfolgerungen ziehen kann, wendet er dieses Wissen auf neue Datensätze an.
Maschinelles lernen Algorithms und wo werden sie verwendet?
Die folgende Tabelle gruppiert die gebräuchlichsten Algorithmen nach der Art der Aufgabe, die sie lösen.
Maschinelles Lernen lässt sich in zwei große Lernaufgaben unterteilen: Aufsicht und unbeaufsichtigtZwei weitere Familien liegen dazwischen und darüber hinaus – das halbüberwachte Lernen, das einen kleinen gelabelten Datensatz mit einem großen ungelabelten Datensatz mischt, und Verstärkung lernen, wobei ein Agent aus Belohnungen und nicht aus gekennzeichneten Antworten lernt.
Überwachtes Lernen
Ein Algorithmus nutzt Trainingsdaten und menschliches Feedback, um den Zusammenhang zwischen gegebenen Eingaben und einer gegebenen Ausgabe zu erlernen. Beispielsweise kann ein Experte Marketingausgaben und Wettervorhersagen als Eingangsdaten verwenden, um den Absatz von Konservendosen vorherzusagen.
Sie können verwenden überwachtes Lernen Wenn die Ausgabedaten bekannt sind, wird der Algorithmus dann auf Basis neuer Daten Vorhersagen treffen.
Es gibt zwei Kategorien des überwachten Lernens:
- Klassifizierungsaufgabe
- Regressionsaufgabe
Klassifikation
Stellen Sie sich vor, Sie möchten für einen Werbespot das Geschlecht eines Kunden vorhersagen. Dazu sammeln Sie Daten wie Größe, Gewicht, Beruf, Gehalt, Warenkorb usw. aus Ihrer Kundendatenbank. Sie kennen das Geschlecht jedes Ihrer Kunden – es kann nur männlich oder weiblich sein. Ziel des Klassifikators ist es, basierend auf den gesammelten Informationen (den Merkmalen) eine Wahrscheinlichkeit für männlich oder weiblich (das sogenannte Label) zu bestimmen. Sobald das Modell gelernt hat, männlich oder weiblich zu erkennen, können Sie neue Daten für eine Vorhersage verwenden. Angenommen, Sie haben gerade neue Informationen zu einem unbekannten Kunden erhalten und möchten wissen, ob dieser Kunde männlich oder weiblich ist. Sagt der Klassifikator „männlich = 70 %“ voraus, bedeutet das, dass der Algorithmus mit 70 % Wahrscheinlichkeit davon ausgeht, dass der Kunde männlich ist, und mit 30 % Wahrscheinlichkeit davon ausgeht, dass er weiblich ist.
Ein Label kann zwei oder mehr Klassen haben. Das obige Beispiel für maschinelles Lernen hat nur zwei Klassen, aber wenn ein Klassifikator Objekte vorhersagen muss, kann er Dutzende von Klassen haben (z. B. Glas, Tisch, Schuhe – jedes Objekt repräsentiert eine Klasse).
Regression
Wenn die Ausgabe ein kontinuierlicher Wert ist, handelt es sich um eine Regression. Beispielsweise muss ein Finanzanalyst möglicherweise den Wert einer Aktie anhand verschiedener Merkmale wie Eigenkapital, bisheriger Aktienperformance und makroökonomischer Indizes prognostizieren. Das System wird trainiert, den Aktienkurs mit dem geringstmöglichen Fehler zu schätzen.
Die folgende Tabelle listet die überwachten Algorithmen auf, denen Sie am häufigsten begegnen werden, und die Aufgaben, für die sich jeder Algorithmus eignet.
| Algorithmus | Beschreibung | Typ |
|---|---|---|
| Lineare Regression | Findet eine Möglichkeit, jedes Feature mit der Ausgabe zu korrelieren, um zukünftige Werte vorherzusagen. | Regression |
| Logistische Regression | Erweiterung der linearen Regression, die für Klassifizierungsaufgaben verwendet wird. Die Ausgabevariable ist binär (z. B. nur schwarz oder weiß) und nicht kontinuierlich (z. B. eine unendliche Liste möglicher Farben). | Klassifikation |
| Entscheidungsbaum | Hochinterpretierbares Klassifizierungs- oder Regressionsmodell, das Datenmerkmalswerte an Entscheidungsknoten in Zweige aufteilt (z. B. wenn es sich bei einem Merkmal um eine Farbe handelt, wird jede mögliche Farbe zu einem neuen Zweig), bis eine endgültige Entscheidungsausgabe erfolgt | Regression Klassifikation |
| Naiver Bayes | Die Bayes'sche Methode ist eine Klassifizierungsmethode, die den Bayes'schen Satz nutzt. Der Satz aktualisiert das Vorwissen über ein Ereignis mit der unabhängigen Wahrscheinlichkeit jedes Merkmals, das das Ereignis beeinflussen kann. | Regression Klassifikation |
| Unterstützung vektor maschine | Support Vector Machines (SVM) werden typischerweise für Klassifizierungsaufgaben eingesetzt. Der SVM-Algorithmus findet eine Hyperebene, die die Klassen optimal trennt. Er eignet sich am besten in Kombination mit einem nichtlinearen Lösungsverfahren. | Rückbildung (nicht sehr häufig) Klassifikation |
| Zufälliger Wald | Der Algorithmus basiert auf einem Entscheidungsbaum, um die Genauigkeit deutlich zu verbessern. Random Forest generiert viele einfache Entscheidungsbäume und verwendet das Mehrheitsentscheidungsverfahren, um die zurückzugebende Kategorie zu bestimmen. Bei der Klassifizierung ist die endgültige Vorhersage diejenige mit den meisten Stimmen; bei der Regression ist der Durchschnitt der Vorhersagen aller Bäume die endgültige Vorhersage. | Regression Klassifikation |
| AdaBoost | Klassifizierungs- oder Regressionstechnik, die eine Vielzahl von Modellen verwendet, um eine Entscheidung zu treffen, diese jedoch anhand ihrer Genauigkeit bei der Vorhersage des Ergebnisses gewichtet | Regression Klassifikation |
| Steigungssteigernde Bäume | Gradient-Boosting-Bäume sind eine hochmoderne Klassifizierungs-/Regressionstechnik. Sie konzentriert sich auf den Fehler, der von den vorherigen Bäumen begangen wurde, und versucht, diesen zu korrigieren. | Regression Klassifikation |
Unbeaufsichtigtes Lernen
Beim unüberwachten Lernen analysiert ein Algorithmus Eingabedaten, ohne eine explizite Ausgabevariable vorgegeben zu bekommen (z. B. analysiert er demografische Kundendaten, um Muster zu erkennen).
Sie können es verwenden, wenn Sie nicht wissen, wie Sie die Daten klassifizieren sollen und der Algorithmus die Muster erkennen und die Daten für Sie gruppieren soll. Die wichtigsten unüberwachten Algorithmen sind unten zusammengefasst.
| Name des Algorithmus | Beschreibung | Typ |
|---|---|---|
| K-bedeutet Clustering | Ordnet Daten einigen Gruppen (k) zu, die jeweils Daten mit ähnlichen Eigenschaften enthalten (wie durch das Modell bestimmt, nicht im Voraus durch Menschen) | ClusterIng. |
| Gaußsches Mischungsmodell | Eine Verallgemeinerung des K-Means-Clusterings, die mehr Flexibilität bei der Größe und Form von Gruppen (Clustern) bietet | ClusterIng. |
| Hierarchisches Clustering | Teilt Cluster entlang eines hierarchischen Baums auf, um ein Klassifizierungssystem zu bilden. Kann zur Gruppierung von Kunden mit Kundenkarten verwendet werden. | ClusterIng. |
| Empfehlungssystem | Hilft dabei, die relevanten Daten für eine Empfehlung zu definieren. | ClusterIng. |
| PCA/t-SNE | Wird hauptsächlich verwendet, um die Dimensionalität der Daten zu verringern. Die Algorithmen reduzieren die Anzahl der Merkmale auf 3 oder 4 Vektoren mit den höchsten Varianzen. | Dimensionsreduzierung |
So wählen Sie einen Algorithmus für maschinelles Lernen aus
Es gibt eine Vielzahl von Algorithmen für maschinelles Lernen, und die Wahl des Algorithmus richtet sich eher nach dem Ziel als nach Moden.
Im folgenden Beispiel für maschinelles Lernen geht es darum, die Blumenart unter drei Sorten vorherzusagen. Die Vorhersagen basieren auf der Länge und Breite der Blütenblätter. Die Abbildung zeigt die Ergebnisse von zehn verschiedenen Algorithmen. Oben links ist der Datensatz selbst abgebildet, wobei die Daten in drei Kategorien unterteilt sind: rot, hellblau und dunkelblau.pingDie Unterschiede sind sichtbar. Im zweiten Bild beispielsweise gehört alles oben links zur roten Kategorie, der mittlere Bereich enthält eine Mischung aus Unsicherheit und Hellblau, während der untere Bereich der dunklen Kategorie entspricht. Die anderen Bilder zeigen, wie verschiedene Algorithmen versuchen, dieselben Daten zu klassifizieren.
Sobald ein Kandidat ausgewählt ist, wird seine Qualität anhand von Daten beurteilt, die er noch nie gesehen hat, in der Regel mit einem Verwirrung Matrix und die daraus abgeleiteten Genauigkeits-, Präzisions- und Trefferquoten.
Herausforderungen und Grenzen des maschinellen Lernens
Die größte Herausforderung beim maschinellen Lernen ist der Mangel an Daten oder die mangelnde Diversität innerhalb des Datensatzes. Eine Maschine kann nicht lernen, wenn keine Daten verfügbar sind. Ein Datensatz mit mangelnder Diversität erschwert das Lernen zusätzlich, da eine Maschine Heterogenität benötigt, um aussagekräftige Erkenntnisse zu gewinnen. Es ist selten, dass ein Algorithmus extracInformationen sind dann wertvoll, wenn keine oder nur wenige Variationen vorliegen. Eine gängige Faustregel besagt, dass mindestens 20 Beobachtungen pro Gruppe erforderlich sind, damit die Maschine lernen kann; darunter leiden sowohl die Auswertung als auch die Vorhersage.
Das Datenvolumen ist nicht die einzige Begrenzung. Modelle, die mit verzerrten historischen Daten trainiert wurden, reproduzieren diese Verzerrung, komplexe Modelle sind schwer gegenüber Aufsichtsbehörden oder Kunden zu erklären, und jedes Modell verschlechtert sich, wenn sich die Welt, mit der es trainiert wurde, verändert.
Anwendung von maschinellem Lernen
Die oben genannten Techniken werden in den meisten Branchen bereits produktiv eingesetzt. Die folgenden Beispiele gehen von allgemeiner Unterstützung auf spezifische Sektoren über.
Augmentation: Maschinelles Lernen unterstützt Menschen bei ihren alltäglichen Aufgaben, sowohl privat als auch beruflich, ohne jedoch die vollständige Kontrolle über die Ergebnisse zu haben. Es findet vielfältige Anwendung, beispielsweise in Form von virtuellen Assistenten, Datenanalysen und Softwarelösungen. Hauptziel ist die Reduzierung von Fehlern, die durch menschliche Voreingenommenheit entstehen.
Automation: Maschinelles Lernen funktioniert in jedem Bereich völlig autonom, ohne dass menschliches Eingreifen erforderlich ist. Beispielsweise führen Roboter in Produktionsanlagen die wesentlichen Prozessschritte aus.
Finanzbranche: Maschinelles Lernen gewinnt in der Finanzbranche zunehmend an Bedeutung. Banken nutzen ML hauptsächlich, um Muster in den Daten zu erkennen, aber auch, um Betrug vorzubeugen.
Regierungsorganisationen: Regierungen nutzen maschinelles Lernen zur Verwaltung der öffentlichen Sicherheit und der Infrastruktur. Nehmen wir beispielsweise China und sein groß angelegtes Gesichtserkennungsprogramm, wo Anwendungen der künstlichen Intelligenz werden dazu verwendet, Fußgänger zu identifizieren, die die Straße bei Rot überqueren.
Gesundheitsindustrie: Das Gesundheitswesen war eine der ersten Branchen, die maschinelles Lernen einsetzte, angefangen bei der Bilderkennung.
Marketing: Dank des reichlichen Datenzugangs findet KI im Marketing breite Anwendung. Vor dem Zeitalter der Massendaten entwickelten Forscher fortschrittliche mathematische Werkzeuge wie die Bayes'sche Analyse, um den Wert eines Kunden zu schätzen. Mit dem Datenboom setzen Marketingabteilungen heute auf KI, um Kundenbeziehungen und Marketingkampagnen zu optimieren.
Beispiel für maschinelles Lernen in der Lieferkette
Maschinelles Lernen liefert überzeugende Ergebnisse bei der visuellen Mustererkennung und eröffnet damit viele potenzielle Anwendungen bei der physischen Inspektion und Wartung entlang der gesamten Lieferkette.
Unüberwachtes Lernen ermöglicht die schnelle Suche nach vergleichbaren Mustern in vielfältigen Datensätzen. Dadurch kann die Maschine im gesamten Logistikzentrum Qualitätskontrollen durchführen und beschädigte oder abgenutzte Sendungen kennzeichnen.
Zum Beispiel IBMDie Watson-Plattform von [Name des Unternehmens] kann Schiffe bestimmenping Containerschäden. Watson kombiniert visuelle und systembasierte Daten, um track, Berichte erstellen und Empfehlungen in Echtzeit abgeben.
Früher verließen sich Lagermanager weitgehend auf manuelle Methoden zur Bestandsbewertung und -prognose. Durch die Kombination von Big Data und maschinellem Lernen werden verbesserte Prognosetechniken möglich, die laut Berichten 20 bis 30 Prozent höhere Werte als herkömmliche Prognoseinstrumente erzielen. Dies führt zu einem Umsatzplus von 2 bis 3 Prozent dank potenzieller Kostensenkungen im Lagerbereich.
Beispiel für maschinelles Lernen im Google Auto
Jeder kennt das Google Das Auto ist mit Lasern auf dem Dach ausgestattet, die seine Position im Verhältnis zur Umgebung bestimmen. An der Front befindet sich Radar, das Geschwindigkeit und Bewegung aller Fahrzeuge in der Umgebung erfasst. Anhand dieser Daten optimiert das Auto nicht nur seine Fahrweise, sondern prognostiziert auch das Verhalten der anderen Fahrer. Beeindruckend ist, dass das Auto fast ein Gigabyte Daten pro Sekunde verarbeitet.
Warum ist maschinelles Lernen wichtig?
Maschinelles Lernen ist das bisher beste Werkzeug, um Daten zu analysieren, zu verstehen und Muster darin zu erkennen. Eine der Grundideen des maschinellen Lernens ist, dass ein Computer so trainiert werden kann, dass er Aufgaben automatisiert, die für einen Menschen anstrengend oder unmöglich wären. Der entscheidende Unterschied zur traditionellen Analyse besteht darin, dass maschinelles Lernen Entscheidungen mit minimalem menschlichen Eingriff treffen kann.
Nehmen wir folgendes Beispiel: Ein Immobilienmakler kann den Preis eines Hauses auf der Grundlage seiner persönlichen Erfahrung und seiner Marktkenntnisse schätzen.
Eine Maschine kann so trainiert werden, dass sie das Wissen eines Experten in Merkmale übersetzt. Diese Merkmale umfassen alle Eigenschaften eines Hauses, der Nachbarschaft, des wirtschaftlichen Umfelds usw., die den Preis beeinflussen. Für den Experten hat es wahrscheinlich Jahre gedauert, die Kunst der Hauspreisermittlung zu beherrschen, und seine Expertise verbessert sich mit jedem Verkauf.
Um diese Kunst zu beherrschen, benötigt die Maschine Millionen von Datenpunkten (d. h. Beispielen). Zu Beginn ihres Lernprozesses macht sie Fehler, ähnlich wie ein unerfahrener Verkäufer. Sobald sie genügend Beispiele gesehen hat, verfügt sie über ausreichend Wissen, um präzise Schätzungen abzugeben. Die Maschine ist außerdem in der Lage, ihre Fehler bei neuen Verkäufen zu korrigieren.
Die meisten großen Unternehmen haben den Wert von maschinellem Lernen und der Datenverwaltung erkannt. Das McKinsey Global Institute schätzte den jährlichen Wert aller Analysetechniken auf 9.5 bis 15.4 Billionen US-Dollar und führte rund 40 Prozent davon – etwa 3.5 bis 5.8 Billionen US-Dollar jährlich – auf fortgeschrittene KI-Techniken auf Basis tiefer neuronaler Netze zurück, wie in seinem Bericht dargelegt. Notizen von der KI-Front Forschung.
Wenn Regeln zwar bekannt, aber ungenau sind, anstatt gar nicht zu fehlen, ist ein regelbasierter Ansatz wie beispielsweise Fuzzy-Logik kann besser passen als ein gelerntes Modell, daher werden die beiden Techniken oft verglichen, bevor ein Projekt beginnt.
