Visszaterjedés neurális hálózatban: gépi tanulási algoritmus

Mielőtt megismerkednénk a visszaterjedési neurális hálózattal (BPNN), értsük meg:

Mi az a mesterséges neurális hálózat?

A neurális hálózat összekapcsolt I/O egységek csoportja, ahol minden kapcsolatnak súlya van a számítógépes programjaihoz. Segít prediktív modellek felépítésében nagy adatbázisokból. Ez a modell az emberi idegrendszerre épül. Segít a kép megértésében, az emberi tanulásban, a számítógépes beszédben stb.

Mi az a Backpropagation?

Visszaszaporítás a neurális hálózatok képzésének lényege. Ez a módszer egy neurális hálózat súlyozásának finomhangolására az előző korszakban kapott hibaarány (azaz iteráció) alapján. A súlyok megfelelő hangolása lehetővé teszi a hibaarány csökkentését és a modell megbízhatóvá tételét az általánosítás növelésével.

A visszaterjesztés a neurális hálózatban a „hibák visszafelé terjedésének” rövid formája. Ez egy szabványos módszer a mesterséges neurális hálózatok képzésére. Ez a módszer segít a veszteségfüggvény gradiensének kiszámításában a hálózat összes súlyához képest.

Hogyan működik a visszaterjesztési algoritmus

A Vissza terjedési algoritmus a neurális hálózatban a láncszabály alapján kiszámítja a veszteségfüggvény gradiensét egyetlen súlyra. Hatékonyan egy réteget számol ki, ellentétben a natív közvetlen számítással. Kiszámítja a színátmenetet, de nem határozza meg a színátmenet felhasználásának módját. Általánosítja a számítást a delta szabályban.

Tekintse meg a következő visszaterjedési neurális hálózat példadiagramját, hogy megértse:

1. Az X bemenetek az előre csatlakoztatott útvonalon keresztül érkeznek
2. A bemenet modellezése valós W súlyokkal történik. A súlyokat általában véletlenszerűen választják ki.
3. Számítsa ki minden neuron kimenetét a bemeneti rétegtől a rejtett rétegeken át a kimeneti rétegig.
4. Számítsa ki a hibát a kimenetekben

ErrorB= Actual Output – Desired Output

5. Utazz vissza a kimeneti rétegről a rejtett rétegre, hogy a súlyokat úgy állítsd be, hogy a hiba csökkenjen.

Ismételje meg a folyamatot, amíg el nem éri a kívánt eredményt

Miért van szükségünk visszaszaporításra?

A Backpropagation legkiemelkedőbb előnyei a következők:

• A visszaszaporítás gyors, egyszerű és könnyen programozható
• A bemenetek számán kívül nincs beállítandó paramétere
• Ez egy rugalmas módszer, mivel nem igényel előzetes ismereteket a hálózatról
• Ez egy szabványos módszer, amely általában jól működik
• Nem kell külön említeni a megtanulandó függvény jellemzőit.

Mi az a továbbító hálózat?

Az előrecsatolt neurális hálózat egy mesterséges neurális hálózat, ahol a csomópontok soha nem alkotnak ciklust. Ennek a neurális hálózatnak van egy bemeneti rétege, rejtett rétegei és egy kimeneti rétege. Ez a mesterséges neurális hálózat első és legegyszerűbb típusa.

A visszaterjesztési hálózatok típusai

A visszaterjesztési hálózatok két típusa:

• Statikus visszaszaporodás
• Ismétlődő Backpropagation

Statikus visszaszaporodás

Ez egyfajta visszaterjesztési hálózat, amely egy térképet hoz létreping statikus bemenet statikus kimenethez. Hasznos statikus osztályozási problémák, például optikai karakterfelismerés megoldására.

Ismétlődő Backpropagation

Az adatbányászatban az ismétlődő Vissza terjedést a rendszer előre továbbítja, amíg el nem ér egy rögzített értéket. Ezt követően a hiba kiszámításra kerül, és visszafelé terjed.

A két módszer közötti fő különbség az, hogy a térképping gyors a statikus visszaterjedésben, míg nem statikus a rekurens visszaterjedésben.

A visszaszaporodás története

• 1961-ben J. Kelly, Henry Arthur és E. Bryson vezette le a folyamatos visszaterjesztés alapfogalmát a kontrollelmélet kontextusában.
• 1969-ben Bryson és Ho egy többlépcsős dinamikus rendszeroptimalizálási módszert adott.
• 1974-ben Werbos kijelentette ennek az elvnek a mesterséges neurális hálózatban való alkalmazásának lehetőségét.
• 1982-ben Hopfield meghozta ötletét a neurális hálózatról.
• 1986-ban David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams erőfeszítésével a visszaszaporítás elismerésre tett szert.
• 1993-ban Wan volt az első ember, aki a backpropagation módszer segítségével megnyert egy nemzetközi mintafelismerő versenyt.

Backpropagation Kulcspontok

• Leegyszerűsíti a hálózati struktúrát olyan elemekkel súlyozott hivatkozásokkal, amelyek a legkevésbé hatnak a betanított hálózatra
• Tanulmányoznia kell a bemeneti és aktiválási értékek egy csoportját a bemeneti és a rejtett egységrétegek közötti kapcsolat kialakításához.
• Segít felmérni, hogy egy adott bemeneti változó milyen hatással van a hálózati kimenetre. Az elemzésből nyert ismereteket szabályokban kell ábrázolni.
• A visszaterjesztés különösen hasznos a mély neurális hálózatoknál, amelyek hibára hajlamos projekteken dolgoznak, mint például a kép- vagy beszédfelismerés.
• A visszaterjesztés kihasználja a lánc előnyeit, és a teljesítményszabályok lehetővé teszik, hogy a visszaterjesztés tetszőleges számú kimenettel működjön.

Legjobb gyakorlat Backpropagation

A neurális hálózatban történő visszaterjesztés a „Cipőfűző” analógia segítségével magyarázható

Túl kevés feszültség =

• Nem elég korlátozó és nagyon laza

Túl sok feszültség =

• Túl sok kényszer (túledzés)
• Túl sok időt vesz igénybe (viszonylag lassú folyamat)
• Nagyobb a törés valószínűsége

Egy csipkét jobban húz, mint a másikat =

• Kényelmetlenség (elfogultság)

A Backpropagation használatának hátrányai

• A visszaterjesztés tényleges teljesítménye egy adott probléma esetén a bemeneti adatoktól függ.
• Az adatbányászatban alkalmazott visszaterjedési algoritmus meglehetősen érzékeny lehet a zajos adatokra
• A mini-batch helyett a mátrix alapú megközelítést kell használnia a visszaterjesztéshez.

Összegzésként

• A neurális hálózat összekapcsolt I/O egységek csoportja, ahol minden kapcsolatnak súlya van a számítógépes programjaihoz.
• A visszaterjesztés a „hibák visszafelé terjedésének” rövid formája. Ez egy szabványos módszer a mesterséges neurális hálózatok képzésére
• Visszaterjedési algoritmus be gépi tanulás gyors, egyszerű és könnyen programozható
• Az előrecsatolt BPN hálózat egy mesterséges neurális hálózat.
• A visszaterjesztési hálózatok két típusa: 1) Statikus visszaterjesztés 2) Ismétlődő visszaterjesztés
• 1961-ben J. Kelly, Henry Arthur és E. Bryson vezette le a folyamatos visszaterjesztés alapfogalmát a kontrollelmélet kontextusában.
• Visszaszaporodás be adatbányászat leegyszerűsíti a hálózati struktúrát azáltal, hogy eltávolítja a súlyozott hivatkozásokat, amelyek minimális hatással vannak a betanított hálózatra.
• Különösen hasznos a mély neurális hálózatok számára, amelyek hibára hajlamos projekteken dolgoznak, mint például a kép- vagy beszédfelismerés.
• A Backpropagation legnagyobb hátránya, hogy érzékeny lehet a zajos adatokra.