Zpětné šíření v neuronové síti: Algoritmus strojového učení

Než se naučíme Back Propagation Neural Network (BPNN), pochopme:

Co je to umělé neuronové sítě?

Neuronová síť je skupina připojených I/O jednotek, kde každé připojení má váhu spojenou s jeho počítačovými programy. Pomáhá vám vytvářet prediktivní modely z velkých databází. Tento model staví na lidském nervovém systému. Pomáhá vám rozumět obrazu, lidskému učení, počítačové řeči atd.

Co je Backpropagation?

Zpětná propagace je podstatou tréninku neuronové sítě. Je to metoda jemného doladění vah neuronové sítě na základě chybovosti získané v předchozí epoše (tj. iterace). Správné vyladění závaží umožňuje snížit chybovost a zvýšit spolehlivost modelu zvýšením jeho zobecnění.

Backpropagation v neuronové síti je zkratka pro „zpětné šíření chyb“. Jde o standardní metodu trénování umělých neuronových sítí. Tato metoda pomáhá vypočítat gradient ztrátové funkce vzhledem ke všem vahám v síti.

Jak funguje algoritmus zpětné propagace

Algoritmus zpětného šíření v neuronové síti počítá gradient ztrátové funkce pro jednu váhu pomocí řetězového pravidla. Na rozdíl od nativního přímého výpočtu efektivně počítá jednu vrstvu po druhé. Vypočítá přechod, ale nedefinuje, jak se přechod použije. Zobecňuje výpočet v pravidle delta.

Zvažte následující ukázkový diagram neuronové sítě zpětného šíření, abyste pochopili:

1. Vstupy X přicházejí přes předem připojenou cestu
2. Vstup je modelován pomocí reálných vah W. Váhy jsou obvykle vybírány náhodně.
3. Vypočítejte výstup pro každý neuron ze vstupní vrstvy, přes skryté vrstvy až po výstupní vrstvu.
4. Vypočítejte chybu ve výstupech

ErrorB= Actual Output – Desired Output

5. Přejděte zpět z výstupní vrstvy do skryté vrstvy a upravte váhy tak, aby se chyba snížila.

Postup opakujte, dokud nedosáhnete požadovaného výstupu

Proč potřebujeme backpropagation?

Nejvýraznější výhody Backpropagation jsou:

• Backpropagation je rychlý, jednoduchý a snadno programovatelný
• Nemá žádné parametry k ladění kromě čísel vstupu
• Je to flexibilní metoda, protože nevyžaduje předchozí znalosti o síti
• Je to standardní metoda, která obecně funguje dobře
• Nepotřebuje žádnou zvláštní zmínku o vlastnostech funkce, která se má naučit.

Co je to Feed Forward Network?

Dopředná neuronová síť je umělá neuronová síť, kde uzly nikdy netvoří cyklus. Tento druh neuronové sítě má vstupní vrstvu, skryté vrstvy a výstupní vrstvu. Je to první a nejjednodušší typ umělé neuronové sítě.

Typy Backpropagation Networks

Dva typy backpropagation sítí jsou:

• Statické zpětné šíření
• Opakované zpětné šíření

Statické zpětné šíření

Je to jeden druh sítě zpětného šíření, která vytváří mapování statického vstupu na statický výstup. Je užitečné řešit problémy statické klasifikace, jako je optické rozpoznávání znaků.

Opakované zpětné šíření

Opakované zpětné šíření při dolování dat je přiváděno dopředu, dokud není dosaženo pevné hodnoty. Poté je chyba vypočítána a šířena zpět.

Hlavní rozdíl mezi oběma těmito metodami je: že mapování je rychlé při statickém zpětném šíření, zatímco při opakovaném zpětném šíření je nestatické.

Historie Backpropagation

• V roce 1961 odvodili základní koncept kontinuálního zpětného šíření v kontextu teorie řízení J. Kelly, Henry Arthur a E. Bryson.
• V roce 1969 dali Bryson a Ho metodu vícestupňové dynamické optimalizace systému.
• V roce 1974 Werbos uvedl možnost aplikace tohoto principu v umělé neuronové síti.
• V roce 1982 Hopfield přinesl svůj nápad neuronové sítě.
• V roce 1986, úsilím Davida E. Rumelharta, Geoffreyho E. Hintona, Ronalda J. Williamse, získala zpětná propagace uznání.
• V roce 1993 byl Wan prvním člověkem, který vyhrál mezinárodní soutěž v rozpoznávání vzorů pomocí metody backpropagation.

Klíčové body zpětné propagace

• Zjednodušuje strukturu sítě pomocí prvků vážených spojů, které mají nejmenší vliv na trénovanou síť
• Musíte prostudovat skupinu vstupních a aktivačních hodnot, abyste vyvinuli vztah mezi vstupními a skrytými vrstvami jednotek.
• Pomáhá posoudit dopad, který má daná vstupní proměnná na výstup sítě. Poznatky získané z této analýzy by měly být zastoupeny v pravidlech.
• Zpětné šíření je zvláště užitečné pro hluboké neuronové sítě pracující na projektech náchylných k chybám, jako je rozpoznávání obrazu nebo řeči.
• Zpětné šíření využívá výhody řetězce a pravidla výkonu umožňují, aby zpětné šíření fungovalo s libovolným počtem výstupů.

Nejlepší praxe Backpropagation

Zpětné šíření v neuronové síti lze vysvětlit pomocí analogie „Shoe Lace“.

Příliš malé napětí =

• Nedostatečně omezující a velmi volné

Příliš velké napětí =

• Příliš velké omezení (přetrénování)
• Zabírá příliš mnoho času (relativně pomalý proces)
• Vyšší pravděpodobnost rozbití

Tahání jedné krajky více než druhé =

• nepohodlí (předpojatost)

Nevýhody použití Backpropagation

• Skutečný výkon zpětného šíření na konkrétním problému závisí na vstupních datech.
• Algoritmus zpětného šíření při dolování dat může být poměrně citlivý na hlučná data
• Pro backpropagation musíte místo mini-dávky použít maticový přístup.

Shrnutí

• Neuronová síť je skupina připojených I/O jednotek, kde každé připojení má váhu spojenou s jeho počítačovými programy.
• Backpropagation je zkrácená forma pro „zpětné šíření chyb“. Jde o standardní metodu trénování umělých neuronových sítí
• Algoritmus zpětného šíření v strojové učení je rychlý, jednoduchý a snadno programovatelný
• Dopředná síť BPN je umělá neuronová síť.
• Dva typy sítí zpětného šíření jsou 1) Statické zpětné šíření 2) Rekurentní zpětné šíření
• V roce 1961 odvodili základní koncept kontinuálního zpětného šíření v kontextu teorie řízení J. Kelly, Henry Arthur a E. Bryson.
• Zpětná propagace v data mining zjednodušuje strukturu sítě odstraněním vážených odkazů, které mají minimální vliv na trénovanou síť.
• Je zvláště užitečný pro hluboké neuronové sítě pracující na projektech náchylných k chybám, jako je rozpoznávání obrazu nebo řeči.
• Největší nevýhodou Backpropagation je, že může být citlivý na hlučná data.