TensorBoard-Tutorial: TensorFlow-Graph-Visualisierung [Beispiel]
Evelyn Clarke
Was ist TensorBoard?
TensorBoard ist die Schnittstelle zur Visualisierung des Diagramms und anderer Tools zum Verstehen, Debuggen und Optimieren des Modells. Es handelt sich um ein Tool, das Messungen und Visualisierungen für den Workflow des maschinellen Lernens bereitstellt. Es hilft, Metriken wie Verlust und Genauigkeit, Modelldiagrammvisualisierung, Projekteinbettung in niedrigerdimensionalen Räumen usw. zu verfolgen.
TensorFlow-Diagrammvisualisierung anhand eines Tensorboard-Beispiels
Das Bild unten stammt aus dem TensorBoard-Diagramm, das Sie in diesem TensorBoard-Tutorial erstellen werden. Es ist das Hauptpanel:
Auf dem Bild unten sehen Sie das Panel der TensorBoard-Grafikvisualisierung. Das Bedienfeld enthält verschiedene Registerkarten, die mit der Informationsebene verknüpft sind, die Sie beim Ausführen des Modells hinzufügen.
- Skalare: Verschiedene nützliche Informationen während des Modelltrainings anzeigen
- Graphs: Modell anzeigen
- Histogramm: Gewichte mit einem Histogramm anzeigen
- Vertrieb: Zeigt die Gewichtsverteilung an
- Projektor: Hauptkomponentenanalyse und T-SNE-Algorithmus anzeigen. Die zur Dimensionsreduktion verwendete Technik
In diesem TensorBoard-Tutorial trainieren Sie ein einfaches Deep-Learning-Modell. Wie es funktioniert, erfahren Sie in einem zukünftigen Tutorial.
Wenn Sie sich die Grafik ansehen, können Sie verstehen, wie das Modell funktioniert.
- Stellen Sie die Daten in die Warteschlange des Modells: Übertragen Sie eine Datenmenge, die der Stapelgröße entspricht, in das Modell, d. h. die Anzahl der Datenfeeds nach jeder Iteration
- Geben Sie die Daten an die Tensoren weiter
- Trainiere das Modell
- Zeigen Sie die Anzahl der Chargen während des Trainings an. Speichern Sie das Modell auf der Festplatte.
Die Grundidee hinter Tensorboard ist, dass ein neuronales Netzwerk eine Art Blackbox sein kann und wir ein Tool benötigen, um zu untersuchen, was sich in dieser Box befindet. Sie können sich Tensorboard als Taschenlampe vorstellen, mit der Sie in das neuronale Netzwerk eintauchen können.
Es hilft, die Abhängigkeiten zwischen Operationen zu verstehen, wie die Gewichte berechnet werden, zeigt die Verlustfunktion und viele andere nützliche Informationen an. Wenn Sie all diese Informationen zusammenführen, haben Sie ein großartiges Tool zum Debuggen und Finden von Möglichkeiten zur Verbesserung des Modells.
Um Ihnen eine Vorstellung davon zu geben, wie nützlich das TensorBoard-Diagramm sein kann, sehen Sie sich das Bild unten an:
Ein neuronales Netzwerk entscheidet, wie die verschiedenen „Neuronen“ verbunden werden und wie viele Schichten vorhanden sind, bevor das Modell ein Ergebnis vorhersagen kann. Sobald Sie die Architektur definiert haben, müssen Sie nicht nur das Modell trainieren, sondern auch eine Metrik festlegen, um die Genauigkeit der Vorhersage zu berechnen. Diese Metrik wird als verlustfunktion. Das Ziel besteht darin, die Verlustfunktion zu minimieren. Mit anderen Worten bedeutet dies, dass das Modell weniger Fehler macht. Alle Algorithmen des maschinellen Lernens wiederholen die Berechnungen so oft, bis der Verlust eine flachere Linie erreicht. Um diese Verlustfunktion zu minimieren, müssen Sie Folgendes definieren: Lernrate. Es ist die Geschwindigkeit, die das Modell lernen soll. Wenn Sie die Lernrate zu hoch einstellen, hat das Modell keine Zeit, etwas zu lernen. Dies ist im linken Bild der Fall. Die Linie bewegt sich nach oben und unten, was bedeutet, dass das Modell das Ergebnis anhand reiner Schätzungen vorhersagt. Das Bild rechts zeigt, dass der Verlust im Laufe der Iteration abnimmt, bis die Kurve flacher wird, was bedeutet, dass das Modell eine Lösung gefunden hat.
TensorBoard ist ein großartiges Tool, um solche Metriken zu visualisieren und potenzielle Probleme hervorzuheben. Das neuronale Netzwerk kann Stunden bis Wochen brauchen, bis es eine Lösung findet. TensorBoard aktualisiert die Metriken sehr oft. In diesem Fall müssen Sie nicht bis zum Ende warten, um zu sehen, ob das Modell richtig trainiert wird. Sie können TensorBoard öffnen, um zu überprüfen, wie das Training verläuft, und bei Bedarf die entsprechenden Änderungen vornehmen.
Wie verwende ich TensorBoard?
In diesem Tutorial erfahren Sie, wie Sie TensorBoard vom Terminal für MacOS und die Befehlszeile TensorBoard für öffnen Windows.
Der Code wird in einem zukünftigen Tutorial erklärt, der Fokus liegt hier auf TensorBoard.
Zunächst müssen Sie die Bibliotheken importieren, die Sie während des Trainings verwenden werden
## Import the library import tensorflow as tf import numpy as np
Sie erstellen die Daten. Es handelt sich um ein Array mit 10000 Zeilen und 5 Spalten
X_train = (np.random.sample((10000,5))) y_train = (np.random.sample((10000,1))) X_train.shape
Ausgang
(10000, 5)
Die folgenden Codes transformieren die Daten und erstellen das Modell.
Beachten Sie, dass die Lernrate 0.1 beträgt. Wenn Sie diese Rate auf einen höheren Wert ändern, findet das Modell keine Lösung. Dies geschah auf der linken Seite des obigen Bildes.
Während der meisten TensorFlow-Tutorials, verwenden Sie den TensorFlow-Schätzer. Dies ist die TensorFlow-API, die alle mathematischen Berechnungen enthält.
Um die Protokolldateien zu erstellen, müssen Sie den Pfad angeben. Dies geschieht mit dem Argument model_dir.
Im TensorBoard-Beispiel unten speichern Sie das Modell im Arbeitsverzeichnis, also dort, wo Sie die Notebook- oder Python-Datei speichern. Innerhalb dieses Pfads erstellt TensorFlow einen Ordner namens train mit einem untergeordneten Ordner namens linreg.
feature_columns = [
tf.feature_column.numeric_column('x', shape=X_train.shape[1:])]
DNN_reg = tf.estimator.DNNRegressor(feature_columns=feature_columns,
# Indicate where to store the log file
model_dir='train/linreg',
hidden_units=[500, 300],
optimizer=tf.train.ProximalAdagradOptimizer(
learning_rate=0.1,
l1_regularization_strength=0.001
)
)
Ausgang
INFO:tensorflow:Using default config.
INFO:tensorflow:Using config: {'_model_dir': 'train/linreg', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': None, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_service': None, '_cluster_spec': <tensorflow.python.training.server_lib.ClusterSpec object at 0x1818e63828>, '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}
Der letzte Schritt dieses TensorFlow-Visualisierungsdiagrammbeispiels besteht darin, das Modell zu trainieren. Während des Trainings schreibt TensorFlow Informationen in das Modellverzeichnis.
# Train the estimator
train_input = tf.estimator.inputs.numpy_input_fn(
x={"x": X_train},
y=y_train, shuffle=False,num_epochs=None)
DNN_reg.train(train_input,steps=3000)
Ausgang
INFO:tensorflow:Calling model_fn. INFO:tensorflow:Done calling model_fn. INFO:tensorflow:Create CheckpointSaverHook. INFO:tensorflow:Graph was finalized. INFO:tensorflow:Running local_init_op. INFO:tensorflow:Done running local_init_op. INFO:tensorflow:Saving checkpoints for 1 into train/linreg/model.ckpt. INFO:tensorflow:loss = 40.060104, step = 1 INFO:tensorflow:global_step/sec: 197.061 INFO:tensorflow:loss = 10.62989, step = 101 (0.508 sec) INFO:tensorflow:global_step/sec: 172.487 INFO:tensorflow:loss = 11.255318, step = 201 (0.584 sec) INFO:tensorflow:global_step/sec: 193.295 INFO:tensorflow:loss = 10.604872, step = 301 (0.513 sec) INFO:tensorflow:global_step/sec: 175.378 INFO:tensorflow:loss = 10.090343, step = 401 (0.572 sec) INFO:tensorflow:global_step/sec: 209.737 INFO:tensorflow:loss = 10.057928, step = 501 (0.476 sec) INFO:tensorflow:global_step/sec: 171.646 INFO:tensorflow:loss = 10.460144, step = 601 (0.583 sec) INFO:tensorflow:global_step/sec: 192.269 INFO:tensorflow:loss = 10.529617, step = 701 (0.519 sec) INFO:tensorflow:global_step/sec: 198.264 INFO:tensorflow:loss = 9.100082, step = 801 (0.504 sec) INFO:tensorflow:global_step/sec: 226.842 INFO:tensorflow:loss = 10.485607, step = 901 (0.441 sec) INFO:tensorflow:global_step/sec: 152.929 INFO:tensorflow:loss = 10.052481, step = 1001 (0.655 sec) INFO:tensorflow:global_step/sec: 166.745 INFO:tensorflow:loss = 11.320213, step = 1101 (0.600 sec) INFO:tensorflow:global_step/sec: 161.854 INFO:tensorflow:loss = 9.603306, step = 1201 (0.619 sec) INFO:tensorflow:global_step/sec: 179.074 INFO:tensorflow:loss = 11.110269, step = 1301 (0.556 sec) INFO:tensorflow:global_step/sec: 202.776 INFO:tensorflow:loss = 11.929443, step = 1401 (0.494 sec) INFO:tensorflow:global_step/sec: 144.161 INFO:tensorflow:loss = 11.951693, step = 1501 (0.694 sec) INFO:tensorflow:global_step/sec: 154.144 INFO:tensorflow:loss = 8.620987, step = 1601 (0.649 sec) INFO:tensorflow:global_step/sec: 151.094 INFO:tensorflow:loss = 10.666125, step = 1701 (0.663 sec) INFO:tensorflow:global_step/sec: 193.644 INFO:tensorflow:loss = 11.0349865, step = 1801 (0.516 sec) INFO:tensorflow:global_step/sec: 189.707 INFO:tensorflow:loss = 9.860596, step = 1901 (0.526 sec) INFO:tensorflow:global_step/sec: 176.423 INFO:tensorflow:loss = 10.695, step = 2001 (0.567 sec) INFO:tensorflow:global_step/sec: 213.066 INFO:tensorflow:loss = 10.426752, step = 2101 (0.471 sec) INFO:tensorflow:global_step/sec: 220.975 INFO:tensorflow:loss = 10.594796, step = 2201 (0.452 sec) INFO:tensorflow:global_step/sec: 219.289 INFO:tensorflow:loss = 10.4212265, step = 2301 (0.456 sec) INFO:tensorflow:global_step/sec: 215.123 INFO:tensorflow:loss = 9.668612, step = 2401 (0.465 sec) INFO:tensorflow:global_step/sec: 175.65 INFO:tensorflow:loss = 10.009649, step = 2501 (0.569 sec) INFO:tensorflow:global_step/sec: 206.962 INFO:tensorflow:loss = 10.477722, step = 2601 (0.483 sec) INFO:tensorflow:global_step/sec: 229.627 INFO:tensorflow:loss = 9.877638, step = 2701 (0.435 sec) INFO:tensorflow:global_step/sec: 195.792 INFO:tensorflow:loss = 10.274586, step = 2801 (0.512 sec) INFO:tensorflow:global_step/sec: 176.803 INFO:tensorflow:loss = 10.061047, step = 2901 (0.566 sec) INFO:tensorflow:Saving checkpoints for 3000 into train/linreg/model.ckpt. INFO:tensorflow:Loss for final step: 10.73032. <tensorflow.python.estimator.canned.dnn.DNNRegressor at 0x1818e63630>
Für MacOS-Benutzer
Für Windows Benutzer
Sie können diese Informationen im einsehenPyTorch TensorBoard.
Nachdem Sie nun die Protokollereignisse geschrieben haben, können Sie Tensorboard öffnen. Tensorboard Keras läuft auf Port 6006 (Jupyter läuft auf Port 8888). Sie können das Terminal für MacOs-Benutzer oder die Anaconda-Eingabeaufforderung verwenden für Windows Benutzer.
Für MacOS-Benutzer
# Different for you cd /Users/Guru99/tuto_TF source activate hello-tf!
Das Notizbuch wird im Pfad /Users/Guru99/tuto_TF gespeichert
Für Windows Nutzer
cd C:\Users\Admin\Anaconda3 activate hello-tf
Das Notizbuch wird im Pfad C:\Users\Admin\Anaconda3 gespeichert
Um Tensorboard zu starten, können Sie diesen Code verwenden
Für MacOS-Benutzer
tensorboard --logdir=./train/linreg
Für Windows Nutzer
tensorboard --logdir=.\train\linreg
Tensorboard befindet sich unter dieser URL: http://localhost:6006
Es könnte sich auch an folgender Stelle befinden.
Kopieren Sie die URL und fügen Sie sie in Ihren bevorzugten Browser ein. Sie sollten Folgendes sehen:
Beachten Sie, dass wir in dem entsprechenden Tutorial lernen werden, wie man die Grafik liest tiefe Lernen.
Wenn Sie so etwas sehen:
Das bedeutet, dass Tensorboard die Protokolldatei nicht finden kann. Stellen Sie sicher, dass Sie die CD auf den richtigen Pfad verweisen, oder überprüfen Sie noch einmal, ob das Protokollereignis erstellt wurde. Wenn nicht, führen Sie den Code erneut aus.
Wenn Sie TensorBoard schließen möchten, drücken Sie STRG+C
Tipp: Überprüfen Sie Ihre Anaconda-Eingabeaufforderung auf das aktuelle Arbeitsverzeichnis.
Die Protokolldatei sollte unter C:\Benutzer\Admin erstellt werden
Zusammenfassung
TensorBoard ist ein großartiges Tool zur Visualisierung Ihres Modells. Außerdem werden während des Trainings viele Metriken angezeigt, wie z. B. Verlust, Genauigkeit oder Gewichte.
Um Tensorboard zu aktivieren, müssen Sie den Pfad Ihrer Datei festlegen:
cd /Users/Guru99/tuto_TF
Aktivieren Sie die Tensorflow-Umgebung
activate hello-tf
Starten Sie Tensorboard
tensorboard --logdir=.+ PATH
