Tutorial TensorBoard: Vizualizarea graficului TensorFlow

Ce este TensorBoard?

TensorBoard este interfața utilizată pentru vizualizarea graficului și alte instrumente pentru înțelegerea, depanarea și optimizarea modelului. Este un instrument care oferă măsurători și vizualizări pentru un flux de lucru de învățare automată. Ajută... track metrici, cum ar fi pierderea și precizia, vizualizarea graficului modelului și proiectarea încorporărilor în spații de dimensiuni inferioare.

TensorBoard este livrat cu TensorFlow și rulează ca un mic server web local care citește fișierele de evenimente pe care un job de antrenament le scrie pe disc.

Exemplu de vizualizare a grafurilor TensorFlow folosind TensorBoard

Imaginea de mai jos provine din graficul TensorBoard pe care îl veți genera în acest tutorial. Este panoul principal:

Din imaginea de mai jos, puteți vedea panoul de vizualizare grafică TensorBoard. Panoul conține diferite file, care sunt legate de nivelul de informații pe care îl adăugați atunci când rulați modelul.

• Scalari: Afișați diferite informații utile în timpul antrenamentului modelului
• Grafice: Afișați modelul
• Histogramă: Afișați ponderile cu o histogramă
• Distribuție: Afișați distribuția greutății
• Proiector: Afișați analiza componentelor principale și algoritmul T-SNE. Tehnica utilizată pentru reducerea dimensionalității

În timpul acestui tutorial TensorBoard, veți antrena un simplu învățare profundă model, iar graficul pe care îl produce este citit de jos în sus.

Dacă te uiți la grafic, poți înțelege cum funcționează modelul. Insignele numerotate din captura de ecran de mai jos marchează aceste patru etape:

1. Puneți în coadă datele în model: trimiteți o cantitate de date egală cu dimensiunea lotului către model, adică numărul de flux de date după fiecare iterație
2. Transmite datele Tensorilor
3. Antrenează modelul
4. Afișați numărul de loturi în timpul antrenamentului. Salvați modelul pe disc.

Ideea de bază din spatele TensorBoard este că o rețea neuronală se poate comporta ca o cutie neagră și ai nevoie de un instrument pentru a inspecta ce se află în interiorul acelei cutii. Gândește-te la TensorBoard ca la o lanternă pentru a te cufunda în rețea.

Ajută la înțelegerea dependențelor dintre operațiuni, modul în care sunt calculate greutățile, afișează funcția de pierdere și multe alte informații utile. Când aduceți toate aceste informații împreună, aveți un instrument grozav pentru a depana și a găsi cum să îmbunătățiți modelul.

Pentru a vă face o idee despre cât de util poate fi graficul TensorBoard, uitați-vă la cele două curbe de pierdere de mai jos:

O rețea neuronală decide cum să conecteze diferiții neuroni și câte straturi sunt necesare înainte ca modelul să poată prezice un rezultat. Odată ce arhitectura este definită, nu trebuie doar să antrenați modelul, ci și o metrică care măsoară acuratețea predicției. Această metrică se numește funcție de pierdere, iar obiectivul este de a o minimiza, ceea ce înseamnă pur și simplu că modelul face mai puține erori.

Fiecare algoritm de antrenament repetă calculul de mai multe ori până când pierderea atinge o linie mai plată. Minimizarea pierderii necesită și o rată de învățare, care este viteza cu care modelul învață. Dacă se setează rata de învățare la o valoare prea mare, modelul nu va avea niciodată timp să învețe nimic: acesta este graficul din stânga, unde linia se mișcă în sus și în jos, deoarece modelul practic ghicește. Graficul din dreapta arată cum pierderea scade de-a lungul iterațiilor până când curba se aplatizează, ceea ce înseamnă că modelul a găsit o soluție.

TensorBoard este un instrument excelent pentru vizualizarea unor astfel de metrici și evidențierea potențialelor probleme. O rețea neuronală poate dura ore sau săptămâni înainte de a găsi o soluție, iar TensorBoard reîmprospătează metricile în timp ce jobul este încă în execuție. Prin urmare, nu trebuie să așteptați până la sfârșit pentru a vedea dacă modelul se antrenează corect: deschideți TensorBoard, verificați cum decurge antrenamentul și faceți modificările corespunzătoare, dacă este necesar.

Cum se folosește TensorBoard?

În această secțiune, veți învăța cum să deschideți TensorBoard din terminal pe macOS și din linia de comandă WindowsAccentul aici este pus pe instrument și nu pe model, așa că codul de antrenament este menținut în mod deliberat scurt.

Mai întâi, trebuie să importați bibliotecile pe care le veți utiliza în timpul antrenamentului.

## Import the library
import tensorflow as tf
import numpy as np

Tu creezi datele. Este o matrice de 10000 de rânduri și 5 coloane.

X_train = (np.random.sample((10000,5)))
y_train =  (np.random.sample((10000,1)))
X_train.shape

producție

(10000, 5)

Codul de mai jos transformă datele și creează modelul.

Rețineți că rata de învățare este egală cu 0.1. Dacă modificați această rată la o valoare mai mare, modelul nu va găsi o soluție. Acest lucru s-a întâmplat în partea stângă a imaginii de mai sus.

Exemplul folosește un estimator TensorFlow, API-ul de nivel înalt care încorporează calculele matematice. Estimatorii aparțin API-ului TensorFlow 1.x, așadar cele două fragmente de mai jos rulează sub o instalare 1.x sau prin intermediul tf.compat.v1 spațiu de nume.

Pentru a crea fișierele jurnal, trebuie să specificați calea. Acest lucru se face cu argumentul model_dir.

În exemplul TensorBoard de mai jos, stocați modelul în directorul de lucru, adică unde stocați blocnotesul sau Python fișier. În interiorul acestei căi, TensorFlow va crea un folder numit train cu un folder copil numit linreg.

feature_columns = [
      tf.feature_column.numeric_column('x', shape=X_train.shape[1:])]
DNN_reg = tf.estimator.DNNRegressor(feature_columns=feature_columns,
# Indicate where to store the log file    
     model_dir='train/linreg',    
     hidden_units=[500, 300],    
     optimizer=tf.train.ProximalAdagradOptimizer(      
          learning_rate=0.1,      
          l1_regularization_strength=0.001    
      )
)

producție

INFO:tensorflow:Using default config.
INFO:tensorflow:Using config: {&#x27;_model_dir': 'train/linreg', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': None, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_service': None, '_cluster_spec': <tensorflow.python.training.server_lib.ClusterSpec object at 0x1818e63828>, '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

Ultimul pas al acestui exemplu de vizualizare grafică TensorFlow constă în antrenarea modelului. În timpul antrenamentului, TensorFlow scrie informații în directorul modelului.

# Train the estimator
train_input = tf.estimator.inputs.numpy_input_fn(    
     x={"x": X_train},    
     y=y_train, shuffle=False,num_epochs=None)
DNN_reg.train(train_input,steps=3000)

producție

INFO:tensorflow:Calling model_fn.
INFO:tensorflow:Done calling model_fn.
INFO:tensorflow:Create CheckpointSaverHook.
INFO:tensorflow:Graph was finalized.
INFO:tensorflow:Running local_init_op.
INFO:tensorflow:Done running local_init_op.
INFO:tensorflow:Saving checkpoints for 1 into train/linreg/model.ckpt.
INFO:tensorflow:loss = 40.060104, step = 1
INFO:tensorflow:global_step/sec: 197.061
INFO:tensorflow:loss = 10.62989, step = 101 (0.508 sec)
INFO:tensorflow:global_step/sec: 172.487
INFO:tensorflow:loss = 11.255318, step = 201 (0.584 sec)
INFO:tensorflow:global_step/sec: 193.295
INFO:tensorflow:loss = 10.604872, step = 301 (0.513 sec)
INFO:tensorflow:global_step/sec: 175.378
INFO:tensorflow:loss = 10.090343, step = 401 (0.572 sec)
INFO:tensorflow:global_step/sec: 209.737
INFO:tensorflow:loss = 10.057928, step = 501 (0.476 sec)
INFO:tensorflow:global_step/sec: 171.646
INFO:tensorflow:loss = 10.460144, step = 601 (0.583 sec)
INFO:tensorflow:global_step/sec: 192.269
INFO:tensorflow:loss = 10.529617, step = 701 (0.519 sec)
INFO:tensorflow:global_step/sec: 198.264
INFO:tensorflow:loss = 9.100082, step = 801 (0.504 sec)
INFO:tensorflow:global_step/sec: 226.842
INFO:tensorflow:loss = 10.485607, step = 901 (0.441 sec)
INFO:tensorflow:global_step/sec: 152.929
INFO:tensorflow:loss = 10.052481, step = 1001 (0.655 sec)
INFO:tensorflow:global_step/sec: 166.745
INFO:tensorflow:loss = 11.320213, step = 1101 (0.600 sec)
INFO:tensorflow:global_step/sec: 161.854
INFO:tensorflow:loss = 9.603306, step = 1201 (0.619 sec)
INFO:tensorflow:global_step/sec: 179.074
INFO:tensorflow:loss = 11.110269, step = 1301 (0.556 sec)
INFO:tensorflow:global_step/sec: 202.776
INFO:tensorflow:loss = 11.929443, step = 1401 (0.494 sec)
INFO:tensorflow:global_step/sec: 144.161
INFO:tensorflow:loss = 11.951693, step = 1501 (0.694 sec)
INFO:tensorflow:global_step/sec: 154.144
INFO:tensorflow:loss = 8.620987, step = 1601 (0.649 sec)
INFO:tensorflow:global_step/sec: 151.094
INFO:tensorflow:loss = 10.666125, step = 1701 (0.663 sec)
INFO:tensorflow:global_step/sec: 193.644
INFO:tensorflow:loss = 11.0349865, step = 1801 (0.516 sec)
INFO:tensorflow:global_step/sec: 189.707
INFO:tensorflow:loss = 9.860596, step = 1901 (0.526 sec)
INFO:tensorflow:global_step/sec: 176.423
INFO:tensorflow:loss = 10.695, step = 2001 (0.567 sec)
INFO:tensorflow:global_step/sec: 213.066
INFO:tensorflow:loss = 10.426752, step = 2101 (0.471 sec)
INFO:tensorflow:global_step/sec: 220.975
INFO:tensorflow:loss = 10.594796, step = 2201 (0.452 sec)
INFO:tensorflow:global_step/sec: 219.289
INFO:tensorflow:loss = 10.4212265, step = 2301 (0.456 sec)
INFO:tensorflow:global_step/sec: 215.123
INFO:tensorflow:loss = 9.668612, step = 2401 (0.465 sec)
INFO:tensorflow:global_step/sec: 175.65
INFO:tensorflow:loss = 10.009649, step = 2501 (0.569 sec)
INFO:tensorflow:global_step/sec: 206.962
INFO:tensorflow:loss = 10.477722, step = 2601 (0.483 sec)
INFO:tensorflow:global_step/sec: 229.627
INFO:tensorflow:loss = 9.877638, step = 2701 (0.435 sec)
INFO:tensorflow:global_step/sec: 195.792
INFO:tensorflow:loss = 10.274586, step = 2801 (0.512 sec)
INFO:tensorflow:global_step/sec: 176.803
INFO:tensorflow:loss = 10.061047, step = 2901 (0.566 sec)
INFO:tensorflow:Saving checkpoints for 3000 into train/linreg/model.ckpt.
INFO:tensorflow:Loss for final step: 10.73032.

<tensorflow.python.estimator.canned.dnn.DNNRegressor at 0x1818e63630>

Pe TensorFlow 2, aceeași sarcină este îndeplinită de apelul invers Keras TensorBoard, care scrie graficul și metricile per epocă fără niciun cod de estimare:

logdir = "logs/fit/" + datetime.now().strftime("%Y%m%d-%H%M%S")
tensorboard_callback = keras.callbacks.TensorBoard(log_dir=logdir)

model.fit(train_images, train_labels, epochs=5,
          callbacks=[tensorboard_callback])

Odată ce rularea se termină, directorul jurnal conține un fișier punct de control, un graph.pbtxt fișier și unul sau mai multe events.out.tfevents fișiere — exact ceea ce citește TensorBoard.

Pentru macOS utilizatorii

Vizualizarea Finder de mai jos arată noul folder train/linreg creat în directorul de lucru.

Pentru Windows utilizatorii

On Windows Aceleași fișiere apar sub calea pe care ați trecut-o către model_dir, așa cum este evidențiat în bara de adrese.

Același format de fișier eveniment este produs de PyTorch, deci tabloul de bord nu este limitat la rularea TensorFlow.

Acum că ați scris evenimentele din jurnal, puteți deschide TensorBoard. TensorBoard funcționează implicit pe portul 6006 (Jupyter folosește portul 8888). Folosește Terminalul pe macOS sau promptul Anaconda de pe Windows.

Pentru macOS utilizatorii

# Different for you
cd /Users/Guru99/tuto_TF
source activate hello-tf!

Blocnotesul este stocat în calea /Utilizatori/Guru99/tuto_TF

Pentru Windows utilizatorii

cd C:\Users\Admin\Anaconda3
activate hello-tf

Notebook-ul este stocat în calea C:\Users\Admin\Anaconda3

Pentru a lansa TensorBoard, executați următoarea comandă din directorul respectiv.

Pentru macOS utilizatorii

tensorboard --logdir=./train/linreg

Pentru Windows utilizatorii

tensorboard --logdir=.\train\linreg

TensorBoard este apoi servit la http://localhost:6006

tensorboard dev Subcomanda nu mai funcționează: serviciul găzduit TensorBoard.dev s-a închis pe 1 ianuarie 2024. Utilizarea locală nu este afectată.

Pe unele mașini, consola afișează numele gazdei în loc de localhost, ca în promptul Anaconda de mai jos. Ambele adrese deschid același tablou de bord.

Copiați și lipiți adresa în browserul dvs. preferat. Ar trebui să vedeți tabloul de bord Scalars afișat mai jos.

Dacă vedeți în schimb ceva de genul acesta:

Înseamnă că TensorBoard nu poate găsi fișierul jurnal. Asigurați-vă că indicați cd pe calea corectă sau verificați de două ori dacă evenimentul din jurnal a fost creat efectiv. Dacă nu a fost creat, rulați din nou codul de antrenament.

Dacă vrei să închizi TensorBoard, apasă CTRL+C în fereastra terminalului.

Sfat: verificați promptul Anaconda pentru directorul de lucru curent.

În captura de ecran de mai sus, promptul se află în C:\Users\Admin, deci fișierul jurnal ar trebui creat în acel folder.

Întrebări frecvente