Was ist TensorFlow? Wie funktioniert es? ArchiStruktur und Funktionen

Was ist TensorFlow?

TensorFlow ist eine Open-Source-End-to-End-Plattform zum Erstellen von Machine-Learning-Anwendungen. Es handelt sich um eine symbolische Mathematikbibliothek, die Datenfluss und differenzierbare Programmierung verwendet, um verschiedene Aufgaben auszuführen, die sich auf das Training und die Inferenz tiefer neuronaler Netzwerke konzentrieren. Entwickler können damit Machine-Learning-Anwendungen mithilfe verschiedener Tools, Bibliotheken und Community-Ressourcen erstellen.

Die derzeit bekannteste Deep-Learning-Bibliothek der Welt ist Google's TensorFlow. Google setzt maschinelles Lernen in allen seinen Produkten ein, um Suche, Übersetzung, Bildbeschreibung und Empfehlungen zu verbessern.

TensorFlow-Beispiel

Um ein konkretes Beispiel zu nennen: Google Nutzer können dank KI ein schnelleres und präziseres Sucherlebnis genießen. Wenn der Nutzer ein Stichwort in die Suchleiste eingibt, Google gibt eine Empfehlung für das mögliche nächste Wort.

Google Sie möchten maschinelles Lernen einsetzen, um ihre riesigen Datensätze optimal zu nutzen und den Nutzern das bestmögliche Erlebnis zu bieten. Drei verschiedene Gruppen verwenden maschinelles Lernen:

• Wissenschaftler:innen
• Daten Analysten
• Programmierer

Sie alle können dasselbe Toolset nutzen, um miteinander zusammenzuarbeiten und ihre Effizienz zu verbessern.

Google TensorFlow verwaltet nicht nur große Datensätze, sondern betreibt auch eine enorme Recheninfrastruktur. Daher wurde TensorFlow von Anfang an auf Skalierbarkeit ausgelegt. TensorFlow ist eine Bibliothek, die von … entwickelt wurde. Google Brain Team zur Beschleunigung der Forschung im Bereich maschinelles Lernen und tiefe neuronale Netze.

Es wurde für die Ausführung auf mehreren CPUs oder GPUs und sogar mobilen Betriebssystemen entwickelt und verfügt über mehrere Wrapper in mehreren Sprachen wie Python, C++ or Java.

Geschichte von TensorFlow

Vor ein paar Jahren begann Deep Learning, alle anderen Algorithmen des maschinellen Lernens bei der Verarbeitung großer Datenmengen zu übertreffen. Google erkannte, dass es diese tiefen neuronalen Netze nutzen könnte, um seine Dienstleistungen zu verbessern:

• Gmail
• Foto
• Google Suchmaschine

Sie haben ein Rahmenwerk entwickelt namens TensorFlow damit Forscher und Entwickler am selben Modell arbeiten und es dann in einem Umfang einsetzen können, der für viele Menschen nutzbar ist.

TensorFlow wurde im November 2015 veröffentlicht, Version 1.0 folgte im Februar 2017. Die weitaus größere Änderung erfolgte mit TensorFlow 2.0 im September 2019Dadurch wurde die sofortige Ausführung zum Standard und Keras als Standard-API auf hoher Ebene eingeführt. Ab Version 2.16 ist Keras 3 der Standard, und derselbe Modellcode kann auch mit JAX oder Py ausgeführt werden.Torch-Backends.

TensorFlow wird unter der Apache-2.0-Lizenz veröffentlicht, daher dürfen Sie es verwenden, modifizieren und weiterverbreiten, auch kommerziell, ohne dafür bezahlen zu müssen. Google.

So funktioniert TensorFlow

Mit TensorFlow können Sie Datenflussdiagramme und -strukturen erstellen, um zu definieren, wie sich Daten durch ein Diagramm bewegen, indem Sie Eingaben als mehrdimensionales Array namens Tensor übernehmen. Sie können damit ein Flussdiagramm von Operationen erstellen, die an diesen Eingaben ausgeführt werden können, das an einem Ende eingeht und am anderen Ende als Ausgabe zurückkommt.

TensorFlow Architektur

Die TensorFlow-Architektur besteht aus drei Teilen:

• Vorverarbeitung der Daten
• Erstellen Sie das Modell
• Trainieren und schätzen Sie das Modell

Es heißt TensorFlow, weil es Eingaben in Form eines mehrdimensionalen Arrays entgegennimmt, auch bekannt als Tensoren. Sie können eine Art konstruieren Flussdiagramm von Operationen (Graph genannt), die Sie mit dieser Eingabe durchführen möchten. Die Eingabe geht an einem Ende ein, fließt dann durch dieses System mehrerer Operationen und kommt am anderen Ende als Ausgabe heraus.

Wo kann TensorFlow ausgeführt werden?

Die Hardware- und Softwareanforderungen für TensorFlow lassen sich in zwei Phasen unterteilen:

EntwicklungsphaseHierbei handelt es sich um den Zeitpunkt, an dem das Modell trainiert wird, üblicherweise auf einem Desktop- oder Laptop-Computer.

Ausführungs- oder InferenzphaseSobald das Training abgeschlossen ist, kann das Modell auf vielen Plattformen ausgeführt werden:

• Desktop läuft Windows, macOS oder Linux
• Cloud als Webservice
• Mobile Geräte wie iOS und Android

Sie können es auf mehreren Computern trainieren und es dann auf einem anderen Computer ausführen, sobald Sie das trainierte Modell haben.

Das Modell kann sowohl auf GPUs als auch auf CPUs trainiert und verwendet werden. GPUs wurden ursprünglich für Videospiele entwickelt. Um 2009 zeigten Forscher der Stanford University, dass GPUs bei den Matrix- und linearen Algebraoperationen, auf denen neuronale Netze basieren, äußerst effizient sind. Deep Learning benötigt häufig Matrixmultiplikationen. TensorFlow ist bei der Berechnung von Matrixmultiplikationen sehr schnell, da es in einer Matrix geschrieben ist. C++. Obwohl es in C++, TensorFlow kann hauptsächlich von anderen Sprachen aus aufgerufen und gesteuert werden, Python.

Ein weiteres wichtiges Merkmal ist TensorBoard, das den Graphen, die Trainingsmetriken und die Gewichtsverteilung während der Modellausführung visualisiert.

TensorFlow-Komponenten

Tensor

Der Name TensorFlow leitet sich direkt von seinem Kernframework ab: TensorIn TensorFlow basieren alle Berechnungen auf Tensoren. Ein Tensor ist ein Vektor or Matrix von n-Dimensionen, die alle Arten von Daten darstellen. Alle Werte in einem Tensor enthalten identische Datentypen mit einem bekannten (oder teilweise bekannten) gestalten. Die Form der Daten ist die Dimensionalität der Matrix oder des Arrays.

Ein Tensor kann aus den Eingabedaten oder dem Ergebnis einer Berechnung stammen. In TensorFlow werden alle Operationen innerhalb eines Graph. Der Graph ist eine Reihe von Berechnungen, die nacheinander stattfinden. Jede Operation wird als op-Knoten und sind miteinander verbunden.

Der Graph stellt die Operationen und Verbindungen zwischen den Knoten dar. Die Werte werden jedoch nicht angezeigt. Der Rand der Knoten ist der Tensor, also eine Möglichkeit, die Operation mit Daten zu füllen.

Graphs

TensorFlow nutzt ein Graph-Framework. Das Diagramm erfasst und beschreibt alle während des Trainings durchgeführten Reihenberechnungen. Die Grafik hat viele Vorteile:

• Es läuft auf mehreren CPUs oder GPUs und sogar auf mobilen Betriebssystemen.
• Die Portabilität des Diagramms ermöglicht es, die Berechnungen für die sofortige oder spätere Verwendung aufzubewahren. Das Diagramm kann gespeichert werden, um es später auszuführen.
• Alle Berechnungen im Diagramm werden durch die Verbindung von Tensoren durchgeführt
  • Ein Graph besteht aus Knoten und Kanten. Jeder Knoten führt eine mathematische Operation aus und erzeugt ein Ergebnis, während die Kanten die Eingabe- und Ausgabebeziehungen zwischen den Knoten beschreiben. Die Tensoren selbst werden entlang der Kanten übertragen.

Warum ist TensorFlow beliebt?

TensorFlow ist weit verbreitet, da es für jedes Erfahrungsniveau zugänglich ist. Seine APIs decken alles ab, von einem einfachen Keras-Modell mit drei Zeilen bis hin zu einem selbst entwickelten CNN oder RNN. Da Berechnungen als Graph dargestellt werden, kann TensorBoard das Netzwerk visualisieren und das Debuggen deutlich vereinfachen. Es lässt sich zudem skalieren und läuft auf CPU, GPU und TPU sowie auf Mobilgeräten über TensorFlow Lite.

TensorFlow ist neben PyTelevision weiterhin eines der beiden meistgenutzten Deep-Learning-Frameworks auf GitHub.Torch.

TensorFlow Algorithms

TensorFlow enthält standardmäßig hochrangige Schätzer für verschiedene klassische Algorithmen. In TensorFlow 1.x waren diese unter tf.estimator zu finden.

• Lineare Regression: tf.estimator.LinearRegressor
• Klassifizierung: tf.estimator.LinearClassifier
• Deep-Learning-Klassifizierung: tf.estimator.DNNClassifier
• Weitgehendes und tiefgehendes Lernen: tf.estimator.DNNLinearCombinedClassifier
• Boosted Trees Regression: tf.estimator.BoostedTreesRegressor
• Boosted Tree-Klassifizierung: tf.estimator.BoostedTreesClassifier

TensorFlow vs PyTorch: Welche sollten Sie wählen?

TensorFlow und PyTorch sind die beiden dominanten Deep-Learning-Frameworks, und die praktischen Unterschiede haben sich seit der Einführung der Eager Execution in TensorFlow 2.0 erheblich verringert.

Die pragmatische Antwort: Wählen Sie TensorFlow, wenn das Modell an Mobilgeräte, Browser oder einen verwalteten Server-Stack ausgeliefert werden muss, und Py.TorWenn Sie die Modellarchitektur iterativ verbessern, sollten Sie Keras 3 berücksichtigen. Keras 3, der Standard ab TensorFlow 2.16, erleichtert die Entscheidung zusätzlich, da derselbe Keras-Code auch auf einem TensorFlow-, JAX- oder Py-basierten Modell ausgeführt werden kann.Torch-Backend.

Wie Berechnungen in TensorFlow funktionieren

import numpy as np
import tensorflow as tf

In den ersten beiden Codezeilen haben wir Tensorflow als tf importiert. Mit Pythonist es üblich, für eine Bibliothek einen Kurznamen zu verwenden. Der Vorteil besteht darin, dass wir nicht den vollständigen Namen der Bibliothek eingeben müssen, wenn wir sie verwenden müssen. Beispielsweise können wir Tensorflow als tf importieren und tf aufrufen, wenn wir eine Tensorflow-Funktion verwenden möchten

Lasst uns den grundlegenden Workflow von TensorFlow anhand einfacher TensorFlow-Beispiele üben. Erstellen wir einen Berechnungsgraphen, der zwei Zahlen miteinander multipliziert.

In diesem Beispiel multiplizieren wir X_1 und X_2 miteinander. TensorFlow erstellt dazu einen Knoten, der die Operation verbindet. In unserem Beispiel heißt dieser Knoten „multiplizieren“. Sobald der Graph definiert ist, multiplizieren die TensorFlow-Berechnungsmodule X_1 und X_2 miteinander.

Abschließend führen wir eine TensorFlow-Sitzung durch, die den Rechengraphen mit den Werten von X_1 und X_2 ausführt und das Ergebnis der Multiplikation ausgibt.

Definieren wir die Eingabeknoten X_1 und X_2. Beim Erstellen eines Knotens in TensorFlow muss der Knotentyp ausgewählt werden. Die Knoten X1 und X2 dienen als Platzhalter. Diese Platzhalter weisen bei jeder Berechnung einen neuen Wert zu. Wir erstellen sie als TF-Punkt-Platzhalterknoten.

Schritt 1: Definieren Sie die Variable

X_1 = tf.placeholder(tf.float32, name = "X_1")
X_2 = tf.placeholder(tf.float32, name = "X_2")

Ein Platzhalter benötigt einen Datentyp. Da es sich um Zahlen handelt, ist `tf.float32` die richtige Wahl. Das Argument `name` ist optional, aber nützlich, da es die Bezeichnung ist, die in der TensorBoard-Visualisierung des Graphen angezeigt wird. `X_2` wird auf die gleiche Weise definiert.

Schritt 2: Definieren Sie die Berechnung

multiply = tf.multiply(X_1, X_2, name = "multiply")

Nun können wir den Knoten definieren, der die Multiplikationsoperation durchführt. In TensorFlow können wir dies durch Erstellen eines tf.multiply-Knotens erreichen.

Wir werden die Knoten X_1 und X_2 an den Multiplikationsknoten übergeben. Es weist Tensorflow an, diese Knoten im Rechendiagramm zu verknüpfen, daher fordern wir es auf, die Werte von x und y abzurufen und das Ergebnis zu multiplizieren. Geben wir dem Multiplikationsknoten auch den Namen multiply. Es ist die vollständige Definition für unseren einfachen Rechengraphen.

Schritt 3: Ausführen des Vorgangs

Um Operationen im Graphen auszuführen, müssen wir eine Session erstellen. In TensorFlow geschieht dies mit `tf.Session()`. Sobald wir eine Session haben, können wir diese durch Aufruf von `session` anweisen, Operationen auf unserem Berechnungsgraphen auszuführen. Um die Berechnung auszuführen, verwenden wir `run`.

Für die Multiplikation werden die Werte der Knoten X_1 und X_2 benötigt. Diese werden zur Laufzeit übergeben. Dies geschieht über den Parameter `feed_dict`. Für X_1 werden die Werte 1, 2, 3 und für X_2 die Werte 4, 5, 6 übergeben.

Die Ergebnisse drucken wir mit print(result) aus. Wir sollten 4, 10 und 18 für 1×4, 2×5 und 3×6 sehen

X_1 = tf.placeholder(tf.float32, name = "X_1")
X_2 = tf.placeholder(tf.float32, name = "X_2")

multiply = tf.multiply(X_1, X_2, name = "multiply")

with tf.Session() as session:
    result = session.run(multiply, feed_dict={X_1:[1,2,3], X_2:[4,5,6]})
    print(result)

[ 4. 10. 18.]

Optionen zum Laden von Daten in TensorFlow

Der erste Schritt vor dem Training a maschineller Lernalgorithmus Es geht darum, die Daten zu laden. Dafür gibt es zwei gängige Methoden:

1. Daten in den Speicher ladenEs ist die einfachste Methode. Sie laden alle Ihre Daten als ein einziges Array in den Speicher. Sie schreiben einfach Python Hierfür ist nichts davon TensorFlow-spezifisch.

2. TensorFlow-DatenpipelineTensorFlow bietet eine integrierte API, die Daten lädt, Transformationen anwendet und das Modell speist. Diese Methode eignet sich besonders gut für große Datensätze. Beispielsweise sind Bilddatensätze bekanntermaßen enorm groß und passen nicht in den Arbeitsspeicher. Die Datenpipeline verwaltet den Speicher selbstständig.

Welche Lösung soll verwendet werden?

Daten in den Speicher laden

Wenn Ihr Datensatz nicht zu groß ist, also weniger als 10 Gigabyte, können Sie die erste Methode verwenden. Die Daten können in den Speicher passen. Sie können eine berühmte Bibliothek namens Pandas verwenden, um CSV-Dateien zu importieren. Im nächsten Tutorial erfahren Sie mehr über Pandas.

Daten mit der TensorFlow-Pipeline laden

Die zweite Methode funktioniert am besten, wenn Sie über einen großen Datensatz verfügen. Wenn Sie beispielsweise über einen Datensatz von 50 Gigabyte verfügen und Ihr Computer nur über 16 Gigabyte Arbeitsspeicher verfügt, stürzt der Computer ab.

In dieser Situation müssen Sie eine TensorFlow-Pipeline erstellen. Die Pipeline lädt die Daten in Batches, also kleinen Datenblöcken. Jeder Batch wird an die Pipeline übergeben und ist dann bereit für das Training. Die Erstellung einer Pipeline ist eine hervorragende Lösung, da sie die Nutzung von Parallelverarbeitung ermöglicht. Das bedeutet, dass TensorFlow das Modell auf mehreren CPUs trainiert. Dies beschleunigt die Berechnung und ermöglicht das Training größerer Netzwerke.

Kurz gesagt: Kleine Datensätze laden Sie mit pandas in den Speicher, und verwenden Sie eine TensorFlow-Pipeline, wenn die Datenmenge groß ist oder Sie das Laden parallel über mehrere CPUs durchführen möchten.

So erstellen Sie eine TensorFlow-Pipeline

Hier sind die Schritte zum Erstellen einer TensorFlow-Pipeline:

Im vorherigen Beispiel haben wir manuell drei Werte für X_1 und X_2 hinzugefügt. Nun sehen wir uns an, wie man Daten in TensorFlow lädt:

Schritt 1) ​​Erstellen Sie die Daten

Lassen Sie uns zunächst die Numpy-Bibliothek verwenden, um zwei Zufallswerte zu generieren.

import numpy as np
x_input = np.random.sample((1,2))
print(x_input)

[[0.8835775 0.23766977]]

Schritt 2) Erstellen Sie den Platzhalter

Wie im vorherigen Beispiel erstellen wir einen Platzhalter mit dem Namen X. Wir müssen die Form des Tensors explizit angeben. In diesem Fall laden wir ein Array mit nur zwei Werten. Wir können die Form als shape=[1,2] schreiben.

# using a placeholder
x = tf.placeholder(tf.float32, shape=[1,2], name = 'X')

Schritt 3) Definieren Sie die Datensatzmethode

Als nächstes müssen wir den Datensatz definieren, in den wir den Wert des Platzhalters x einfügen können. Wir müssen die Methode tf.data.Dataset.from_tensor_slices verwenden

dataset = tf.data.Dataset.from_tensor_slices(x)

Schritt 4) Erstellen Sie die Pipeline

In Schritt vier müssen wir die Pipeline initialisieren, über die die Daten fließen. Wir müssen einen Iterator mit make_initializable_iterator erstellen. Wir nennen es Iterator. Dann müssen wir diesen Iterator aufrufen, um den nächsten Datenstapel get_next einzuspeisen. Wir nennen diesen Schritt get_next. Beachten Sie, dass es in unserem Beispiel nur einen Datenstapel mit nur zwei Werten gibt.

iterator = dataset.make_initializable_iterator() 
get_next = iterator.get_next()

Schritt 5) Führen Sie den Vorgang aus

Der letzte Schritt ist ähnlich wie im vorherigen Beispiel. Wir initiieren eine Sitzung und führen den Operationsiterator aus. Wir füttern das feed_dict mit dem Wert, der generiert wird von numpig. Diese beiden Werte füllen den Platzhalter x. Dann führen wir get_next aus, um das Ergebnis auszudrucken.

with tf.Session() as sess:
    # feed the placeholder with data
    sess.run(iterator.initializer, feed_dict={ x: x_input }) 
    print(sess.run(get_next))

[0.8835775  0.23766978]

TensorFlow 1.x vs. TensorFlow 2.x: Was hat sich geändert?

TensorFlow 2.0 brachte eine grundlegende Überarbeitung der benutzerseitigen API mit sich. Es ist wichtig, die Unterschiede zu verstehen, da viele Online-Tutorials, einschließlich der obigen Beispiele, auf den Stil von Version 1.x abzielen.

Das Multiplikationsbeispiel, neu geschrieben. Drei Schritte und eine Sitzung werden zu einer Zeile, da die Operation in dem Moment ausgeführt wird, in dem sie aufgerufen wird:

import tensorflow as tf

X_1 = tf.constant([1, 2, 3], dtype=tf.float32)
X_2 = tf.constant([4, 5, 6], dtype=tf.float32)

result = tf.multiply(X_1, X_2, name="multiply")
print(result.numpy())        # [ 4. 10. 18.]

Die Eingabepipeline, neu geschrieben. Es werden weder Platzhalter noch Iteratorobjekte benötigt:

import numpy as np
import tensorflow as tf

x_input = np.random.sample((1, 2))
dataset = tf.data.Dataset.from_tensor_slices(x_input)

for batch in dataset:
    print(batch.numpy())

Wenn Sie die Geschwindigkeit eines kompilierten Graphen benötigen, umschließen Sie die Funktion mit @tf.function und TensorFlow. tracEs wird automatisch in eine solche umgewandelt. Ältere 1.x-Skripte können auch unverändert über den tf.compat.v1-Namespace ausgeführt werden, dieser Pfad dient jedoch nur der Wartung und sollte nicht für neue Projekte verwendet werden.

TensorFlow: Wichtigste Erkenntnisse und Code Literaturhinweis

• TensorFlow-Bedeutung: TensorFlow ist die bekannteste Deep-Learning-Bibliothek der letzten Jahre. Ein Praktiker, der TensorFlow verwendet, kann jede Deep-Learning-Struktur aufbauen, wie CNN, RNN oder ein einfaches künstliches neuronales Netzwerk.
• TensorFlow wird hauptsächlich von Akademikern, Startups und großen Unternehmen genutzt. Google verwendet TensorFlow in fast allen Google Produkte des täglichen Bedarfs GmailFoto und Google Suchmaschine.
• Das Google Das Brain-Team entwickelte TensorFlow, um die Kluft zwischen Forschern und Produktentwicklern zu schließen. 2015 veröffentlichten sie TensorFlow und erfreuen sich seitdem rasant wachsender Beliebtheit. Heute ist TensorFlow die Deep-Learning-Bibliothek mit den meisten Repositories auf GitHub.
• Anwender nutzen TensorFlow, weil es sich problemlos in großem Umfang in der Cloud, im Browser oder auf mobilen Geräten mit iOS bereitstellen lässt. Android.

TensorFlow arbeitet in Sitzungen. Jede Sitzung wird durch einen Graphen mit verschiedenen Berechnungen definiert. Ein einfaches Beispiel ist die Multiplikation einer Zahl. In TensorFlow sind dafür drei Schritte erforderlich:

1. Definiere die Variable

X_1 = tf.placeholder(tf.float32, name = "X_1")
X_2 = tf.placeholder(tf.float32, name = "X_2")

2. Definieren Sie die Berechnung

multiply = tf.multiply(X_1, X_2, name = "multiply")

3. Ausführen des Vorgangs

with tf.Session() as session:
    result = session.run(multiply, feed_dict={X_1: [1, 2, 3], X_2: [4, 5, 6]})
    print(result)

Eine gängige Vorgehensweise in TensorFlow ist das Erstellen einer Pipeline zum Laden der Daten. Wenn Sie diese fünf Schritte befolgen, können Sie Daten in TensorFlow laden:

1. Erstellen Sie die Daten

import numpy as np
x_input = np.random.sample((1,2))
print(x_input)

2. Erstellen Sie den Platzhalter

x = tf.placeholder(tf.float32, shape=[1,2], name = 'X')

3. Definieren Sie die Datensatzmethode

dataset = tf.data.Dataset.from_tensor_slices(x)

4. Erstellen Sie die Pipeline

iterator = dataset.make_initializable_iterator()
get_next = iterator.get_next()

5. Führen Sie das Programm aus

with tf.Session() as sess:
    sess.run(iterator.initializer, feed_dict={x: x_input})
    print(sess.run(get_next))

Häufig gestellte Fragen