TensorBoard-vejledning: Visualisering af TensorFlow-grafer

Hvad er TensorBoard?

TensorBoard er den brugerflade, der bruges til at visualisere grafen og andre værktøjer til at forstå, fejlfinde og optimere modellen. Det er et værktøj, der leverer målinger og visualiseringer til en maskinlæringsarbejdsgang. Det hjælper track-metrikker såsom tab og nøjagtighed, visualisere modelgrafen og projicere indlejringer i lavere dimensionelle rum.

TensorBoard leveres med TensorFlow og kører som en lille lokal webserver, der læser de hændelsesfiler, som et træningsjob skriver til disken.

Eksempel på TensorFlow-grafvisualisering ved hjælp af TensorBoard

Billedet nedenfor stammer fra TensorBoard-grafen, som du vil generere i denne vejledning. Det er hovedpanelet:

Fra billedet nedenfor kan du se panelet med TensorBoard grafvisualisering. Panelet indeholder forskellige faner, som er knyttet til det informationsniveau, du tilføjer, når du kører modellen.

• Skalarer: Vis forskellige nyttige oplysninger under modeltræningen
• Grafer: Vis modellen
• Histogram: Vis vægte med et histogram
• Distribution: Vis vægtfordelingen
• Projektor: Vis principal component analyse og T-SNE algoritme. Teknikken anvendt til dimensionalitetsreduktion

I løbet af denne TensorBoard-tutorial vil du træne en simpel dyb læring modellen, og den graf, den producerer, læses nedefra og op.

Hvis du ser på grafen, kan du forstå, hvordan modellen fungerer. De nummererede badges på skærmbilledet nedenfor markerer disse fire faser:

1. Sæt dataene i kø til modellen: Skub en mængde data svarende til batchstørrelsen til modellen, dvs. Antal datafeed efter hver iteration
2. Før dataene til tensorerne
3. Træn modellen
4. Vis antallet af batches under træningen. Gem modellen på disken.

Grundideen bag TensorBoard er, at et neuralt netværk kan opføre sig som en sort boks, og du har brug for et værktøj til at inspicere, hvad der er indeni boksen. Tænk på TensorBoard som en lommelygte til at dykke ned i netværket.

Det hjælper med at forstå afhængighederne mellem operationer, hvordan vægten beregnes, viser tabsfunktionen og meget anden nyttig information. Når du samler alle disse stykker information, har du et fantastisk værktøj til at fejlfinde og finde ud af, hvordan du kan forbedre modellen.

For at give dig en idé om, hvor nyttig TensorBoard-grafen kan være, kan du se på de to tabskurver nedenfor:

Et neuralt netværk bestemmer, hvordan de forskellige neuroner skal forbindes, og hvor mange lag der er nødvendige, før modellen kan forudsige et resultat. Når arkitekturen er defineret, skal du ikke kun træne modellen, men også en metrik, der måler nøjagtigheden af ​​forudsigelsen. Denne metrik kaldes en tabsfunktion, og målet er at minimere den, hvilket ganske enkelt betyder, at modellen laver færre fejl.

Hver træningsalgoritme gentager beregningen mange gange, indtil tabet når en fladere linje. Minimering af tabet kræver også en læringshastighed, som er den hastighed, hvormed modellen lærer. Sættes læringshastigheden for højt, har modellen aldrig tid til at lære noget: det er diagrammet til venstre, hvor linjen bevæger sig op og ned, fordi modellen reelt gætter. Diagrammet til højre viser, at tabet falder over iterationerne, indtil kurven flader ud, hvilket betyder, at modellen har fundet en løsning.

TensorBoard er et fantastisk værktøj til at visualisere sådanne metrikker og fremhæve potentielle problemer. Et neuralt netværk kan tage timer eller uger, før det finder en løsning, og TensorBoard opdaterer metrikkene, mens jobbet stadig kører. Du behøver derfor ikke at vente til slutningen for at se, om modellen træner korrekt: åbn TensorBoard, tjek, hvordan træningen går, og foretag den nødvendige ændring, hvis det er nødvendigt.

Hvordan bruger man TensorBoard?

I dette afsnit lærer du, hvordan du åbner TensorBoard fra terminalen på macOS og fra kommandolinjen på WindowsFokus her er værktøjet snarere end modellen, så træningskoden er bevidst holdt kort.

Først skal du importere de biblioteker, du vil bruge under træningen.

## Import the library
import tensorflow as tf
import numpy as np

Du opretter dataene. Det er et array med 10000 rækker og 5 kolonner.

X_train = (np.random.sample((10000,5)))
y_train =  (np.random.sample((10000,1)))
X_train.shape

Produktion

(10000, 5)

Koden nedenfor transformerer dataene og opretter modellen.

Bemærk at indlæringsraten er lig med 0.1. Hvis du ændrer denne rate til en højere værdi, vil modellen ikke finde en løsning. Dette er, hvad der skete i venstre side af billedet ovenfor.

Eksemplet bruger en TensorFlow-estimator, den højniveau-API, der omslutter de matematiske beregninger. Estimatorer tilhører TensorFlow 1.x API'en, så de to kodestykker nedenfor kører under en 1.x-installation eller gennem tf.compat.v1 navneområde.

For at oprette logfilerne skal du angive stien. Dette gøres med argumentet model_dir.

I TensorBoard-eksemplet nedenfor gemmer du modellen i arbejdsmappen, dvs. hvor du gemmer notesbogen eller Python fil. Inde i denne sti vil TensorFlow oprette en mappe kaldet train med en undermappe kaldet linreg.

feature_columns = [
      tf.feature_column.numeric_column('x', shape=X_train.shape[1:])]
DNN_reg = tf.estimator.DNNRegressor(feature_columns=feature_columns,
# Indicate where to store the log file    
     model_dir='train/linreg',    
     hidden_units=[500, 300],    
     optimizer=tf.train.ProximalAdagradOptimizer(      
          learning_rate=0.1,      
          l1_regularization_strength=0.001    
      )
)

Produktion

INFO:tensorflow:Using default config.
INFO:tensorflow:Using config: {&#x27;_model_dir': 'train/linreg', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': None, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_service': None, '_cluster_spec': <tensorflow.python.training.server_lib.ClusterSpec object at 0x1818e63828>, '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

Det sidste trin i dette eksempel på en TensorFlow-visualisering af en graf består i at træne modellen. Under træningen skriver TensorFlow information ind i modelmappen.

# Train the estimator
train_input = tf.estimator.inputs.numpy_input_fn(    
     x={"x": X_train},    
     y=y_train, shuffle=False,num_epochs=None)
DNN_reg.train(train_input,steps=3000)

Produktion

INFO:tensorflow:Calling model_fn.
INFO:tensorflow:Done calling model_fn.
INFO:tensorflow:Create CheckpointSaverHook.
INFO:tensorflow:Graph was finalized.
INFO:tensorflow:Running local_init_op.
INFO:tensorflow:Done running local_init_op.
INFO:tensorflow:Saving checkpoints for 1 into train/linreg/model.ckpt.
INFO:tensorflow:loss = 40.060104, step = 1
INFO:tensorflow:global_step/sec: 197.061
INFO:tensorflow:loss = 10.62989, step = 101 (0.508 sec)
INFO:tensorflow:global_step/sec: 172.487
INFO:tensorflow:loss = 11.255318, step = 201 (0.584 sec)
INFO:tensorflow:global_step/sec: 193.295
INFO:tensorflow:loss = 10.604872, step = 301 (0.513 sec)
INFO:tensorflow:global_step/sec: 175.378
INFO:tensorflow:loss = 10.090343, step = 401 (0.572 sec)
INFO:tensorflow:global_step/sec: 209.737
INFO:tensorflow:loss = 10.057928, step = 501 (0.476 sec)
INFO:tensorflow:global_step/sec: 171.646
INFO:tensorflow:loss = 10.460144, step = 601 (0.583 sec)
INFO:tensorflow:global_step/sec: 192.269
INFO:tensorflow:loss = 10.529617, step = 701 (0.519 sec)
INFO:tensorflow:global_step/sec: 198.264
INFO:tensorflow:loss = 9.100082, step = 801 (0.504 sec)
INFO:tensorflow:global_step/sec: 226.842
INFO:tensorflow:loss = 10.485607, step = 901 (0.441 sec)
INFO:tensorflow:global_step/sec: 152.929
INFO:tensorflow:loss = 10.052481, step = 1001 (0.655 sec)
INFO:tensorflow:global_step/sec: 166.745
INFO:tensorflow:loss = 11.320213, step = 1101 (0.600 sec)
INFO:tensorflow:global_step/sec: 161.854
INFO:tensorflow:loss = 9.603306, step = 1201 (0.619 sec)
INFO:tensorflow:global_step/sec: 179.074
INFO:tensorflow:loss = 11.110269, step = 1301 (0.556 sec)
INFO:tensorflow:global_step/sec: 202.776
INFO:tensorflow:loss = 11.929443, step = 1401 (0.494 sec)
INFO:tensorflow:global_step/sec: 144.161
INFO:tensorflow:loss = 11.951693, step = 1501 (0.694 sec)
INFO:tensorflow:global_step/sec: 154.144
INFO:tensorflow:loss = 8.620987, step = 1601 (0.649 sec)
INFO:tensorflow:global_step/sec: 151.094
INFO:tensorflow:loss = 10.666125, step = 1701 (0.663 sec)
INFO:tensorflow:global_step/sec: 193.644
INFO:tensorflow:loss = 11.0349865, step = 1801 (0.516 sec)
INFO:tensorflow:global_step/sec: 189.707
INFO:tensorflow:loss = 9.860596, step = 1901 (0.526 sec)
INFO:tensorflow:global_step/sec: 176.423
INFO:tensorflow:loss = 10.695, step = 2001 (0.567 sec)
INFO:tensorflow:global_step/sec: 213.066
INFO:tensorflow:loss = 10.426752, step = 2101 (0.471 sec)
INFO:tensorflow:global_step/sec: 220.975
INFO:tensorflow:loss = 10.594796, step = 2201 (0.452 sec)
INFO:tensorflow:global_step/sec: 219.289
INFO:tensorflow:loss = 10.4212265, step = 2301 (0.456 sec)
INFO:tensorflow:global_step/sec: 215.123
INFO:tensorflow:loss = 9.668612, step = 2401 (0.465 sec)
INFO:tensorflow:global_step/sec: 175.65
INFO:tensorflow:loss = 10.009649, step = 2501 (0.569 sec)
INFO:tensorflow:global_step/sec: 206.962
INFO:tensorflow:loss = 10.477722, step = 2601 (0.483 sec)
INFO:tensorflow:global_step/sec: 229.627
INFO:tensorflow:loss = 9.877638, step = 2701 (0.435 sec)
INFO:tensorflow:global_step/sec: 195.792
INFO:tensorflow:loss = 10.274586, step = 2801 (0.512 sec)
INFO:tensorflow:global_step/sec: 176.803
INFO:tensorflow:loss = 10.061047, step = 2901 (0.566 sec)
INFO:tensorflow:Saving checkpoints for 3000 into train/linreg/model.ckpt.
INFO:tensorflow:Loss for final step: 10.73032.

<tensorflow.python.estimator.canned.dnn.DNNRegressor at 0x1818e63630>

På TensorFlow 2 udføres det samme job af Keras TensorBoard-tilbagekaldet, som skriver grafen og metrikkene pr. epoke uden nogen estimatorkode:

logdir = "logs/fit/" + datetime.now().strftime("%Y%m%d-%H%M%S")
tensorboard_callback = keras.callbacks.TensorBoard(log_dir=logdir)

model.fit(train_images, train_labels, epochs=5,
          callbacks=[tensorboard_callback])

Når kørslen er færdig, indeholder logmappen en checkpoint-fil, en graph.pbtxt fil og en eller flere events.out.tfevents filer — præcis hvad TensorBoard læser.

Til macOS brugere

Finder-visningen nedenfor viser den nye train/linreg-mappe, der er oprettet i arbejdsmappen.

Til Windows brugere

On Windows De samme filer vises under den sti, du sendte til model_dir, som fremhævet i adresselinjen.

Det samme hændelsesfilformat produceres af PyTorch, så dashboardet er ikke begrænset til TensorFlow-kørsler.

Nu hvor du har skrevet loghændelserne, kan du åbne TensorBoard. TensorBoard serverer som standard på port 6006 (Jupyter bruger port 8888). Brug terminalen på macOS eller Anaconda-prompten på Windows.

Til macOS brugere

# Different for you
cd /Users/Guru99/tuto_TF
source activate hello-tf!

Notesbogen er gemt i stien /Brugere/Guru99/tuto_TF

Til Windows brugere

cd C:\Users\Admin\Anaconda3
activate hello-tf

Notesbogen er gemt i stien C:\Users\Admin\Anaconda3

For at starte TensorBoard skal du køre følgende kommando fra den pågældende mappe.

Til macOS brugere

tensorboard --logdir=./train/linreg

Til Windows brugere

tensorboard --logdir=.\train\linreg

TensorBoard serveres derefter på http://localhost:6006

tensorboard dev Underkommandoen virker ikke længere: den hostede TensorBoard.dev-tjeneste lukkede ned den 1. januar 2024. Lokal brug påvirkes ikke.

På nogle maskiner udskriver konsollen værtsnavnet i stedet for localhost, som i Anaconda-prompten nedenfor. Begge adresser åbner det samme dashboard.

Kopier og indsæt adressen i din foretrukne browser. Du bør se Scalars-dashboardet vist nedenfor.

Hvis du i stedet ser noget lignende:

Det betyder, at TensorBoard ikke kan finde logfilen. Sørg for at pege cd til den rigtige sti, eller dobbelttjek at loghændelsen rent faktisk blev oprettet. Hvis den ikke blev det, så kør træningskoden igen.

Hvis du vil lukke TensorBoard, skal du trykke på CTRL+C i terminalvinduet.

Hattip: tjek din Anaconda-prompt for den aktuelle arbejdsmappe.

I skærmbilledet ovenfor sidder prompten i C:\Users\Admin, så logfilen bør oprettes under den mappe.

Ofte Stillede Spørgsmål