Visszaterjedés neurális hálózatban: gépi tanulási algoritmus

Mielőtt megismerkednénk a visszaterjedési neurális hálózattal (BPNN), értsük meg:

Mi az a mesterséges neurális hálózat?

A neurális hálózat összekapcsolt I/O egységek csoportja, ahol minden kapcsolatnak súlya van a számítógépes programjaihoz. Segít prediktív modellek felépítésében nagy adatbázisokból. Ez a modell az emberi idegrendszerre épül. Segít a kép megértésében, az emberi tanulásban, a számítógépes beszédben stb.

Mi az a Backpropagation?

Visszaszaporítás a neurális hálózatok képzésének lényege. Ez a módszer egy neurális hálózat súlyozásának finomhangolására az előző korszakban kapott hibaarány (azaz iteráció) alapján. A súlyok megfelelő hangolása lehetővé teszi a hibaarány csökkentését és a modell megbízhatóvá tételét az általánosítás növelésével.

A visszaterjesztés a neurális hálózatban a „hibák visszafelé terjedésének” rövid formája. Ez egy szabványos módszer a mesterséges neurális hálózatok képzésére. Ez a módszer segít a veszteségfüggvény gradiensének kiszámításában a hálózat összes súlyához képest.

Hogyan működik a visszaterjesztési algoritmus

A Vissza terjedési algoritmus a neurális hálózatban a láncszabály alapján kiszámítja a veszteségfüggvény gradiensét egyetlen súlyra. Hatékonyan egy réteget számol ki, ellentétben a natív közvetlen számítással. Kiszámítja a színátmenetet, de nem határozza meg a színátmenet felhasználásának módját. Általánosítja a számítást a delta szabályban.

Tekintse meg a következő visszaterjedési neurális hálózat példadiagramját, hogy megértse:

1. Az X bemenetek az előre csatlakoztatott útvonalon keresztül érkeznek
2. A bemenet modellezése valós W súlyokkal történik. A súlyokat általában véletlenszerűen választják ki.
3. Számítsa ki minden neuron kimenetét a bemeneti rétegtől a rejtett rétegeken át a kimeneti rétegig.
4. Számítsa ki a hibát a kimenetekben

ErrorB= Actual Output – Desired Output

5. Utazz vissza a kimeneti rétegről a rejtett rétegre, hogy a súlyokat úgy állítsd be, hogy a hiba csökkenjen.

Ismételje meg a folyamatot, amíg el nem éri a kívánt eredményt

Miért van szükségünk visszaszaporításra?

A Backpropagation legkiemelkedőbb előnyei a következők:

• A visszaszaporítás gyors, egyszerű és könnyen programozható
• A bemenetek számán kívül nincs beállítandó paramétere
• Ez egy rugalmas módszer, mivel nem igényel előzetes ismereteket a hálózatról
• Ez egy szabványos módszer, amely általában jól működik
• Nem kell külön említeni a megtanulandó függvény jellemzőit.

Mi az a továbbító hálózat?

Az előrecsatolt neurális hálózat egy mesterséges neurális hálózat, ahol a csomópontok soha nem alkotnak ciklust. Ennek a neurális hálózatnak van egy bemeneti rétege, rejtett rétegei és egy kimeneti rétege. Ez a mesterséges neurális hálózat első és legegyszerűbb típusa.

A visszaterjesztési hálózatok típusai

A visszaterjesztési hálózatok két típusa:

• Statikus visszaszaporodás
• Ismétlődő Backpropagation

Statikus visszaszaporodás

Ez egyfajta visszaterjesztési hálózat, amely egy statikus bemenet leképezését állítja elő statikus kimenethez. Hasznos a statikus osztályozási problémák, például az optikai karakterfelismerés megoldásában.

Ismétlődő Backpropagation

Az adatbányászatban az ismétlődő Vissza terjedést a rendszer előre továbbítja, amíg el nem ér egy rögzített értéket. Ezt követően a hiba kiszámításra kerül, és visszafelé terjed.

A fő különbség a két módszer között az, hogy a leképezés gyors statikus visszaterjesztésben, míg nem statikus az ismétlődő visszaterjesztésben.

A visszaszaporodás története

• 1961-ben J. Kelly, Henry Arthur és E. Bryson vezette le a folyamatos visszaterjesztés alapfogalmát a kontrollelmélet kontextusában.
• 1969-ben Bryson és Ho egy többlépcsős dinamikus rendszeroptimalizálási módszert adott.
• 1974-ben Werbos kijelentette ennek az elvnek a mesterséges neurális hálózatban való alkalmazásának lehetőségét.
• 1982-ben Hopfield meghozta ötletét a neurális hálózatról.
• 1986-ban David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams erőfeszítésével a visszaszaporítás elismerésre tett szert.
• 1993-ban Wan volt az első ember, aki a backpropagation módszer segítségével megnyert egy nemzetközi mintafelismerő versenyt.

Backpropagation Kulcspontok

• Leegyszerűsíti a hálózati struktúrát olyan elemekkel súlyozott hivatkozásokkal, amelyek a legkevésbé hatnak a betanított hálózatra
• Tanulmányoznia kell a bemeneti és aktiválási értékek egy csoportját a bemeneti és a rejtett egységrétegek közötti kapcsolat kialakításához.
• Segít felmérni, hogy egy adott bemeneti változó milyen hatással van a hálózati kimenetre. Az elemzésből nyert ismereteket szabályokban kell ábrázolni.
• A visszaterjesztés különösen hasznos a mély neurális hálózatoknál, amelyek hibára hajlamos projekteken dolgoznak, mint például a kép- vagy beszédfelismerés.
• A visszaterjesztés kihasználja a lánc előnyeit, és a teljesítményszabályok lehetővé teszik, hogy a visszaterjesztés tetszőleges számú kimenettel működjön.

Legjobb gyakorlat Backpropagation

A neurális hálózatban történő visszaterjesztés a „Cipőfűző” analógia segítségével magyarázható

Túl kevés feszültség =

• Nem elég korlátozó és nagyon laza

Túl sok feszültség =

• Túl sok kényszer (túledzés)
• Túl sok időt vesz igénybe (viszonylag lassú folyamat)
• Nagyobb a törés valószínűsége

Egy csipkét jobban húz, mint a másikat =

• Kényelmetlenség (elfogultság)

A Backpropagation használatának hátrányai

• A visszaterjesztés tényleges teljesítménye egy adott probléma esetén a bemeneti adatoktól függ.
• Az adatbányászatban alkalmazott visszaterjedési algoritmus meglehetősen érzékeny lehet a zajos adatokra
• A mini-batch helyett a mátrix alapú megközelítést kell használnia a visszaterjesztéshez.

Összegzésként

• A neurális hálózat összekapcsolt I/O egységek csoportja, ahol minden kapcsolatnak súlya van a számítógépes programjaihoz.
• A visszaterjesztés a „hibák visszafelé terjedésének” rövid formája. Ez egy szabványos módszer a mesterséges neurális hálózatok képzésére
• Visszaterjedési algoritmus be gépi tanulás gyors, egyszerű és könnyen programozható
• Az előrecsatolt BPN hálózat egy mesterséges neurális hálózat.
• A visszaterjesztési hálózatok két típusa: 1) Statikus visszaterjesztés 2) Ismétlődő visszaterjesztés
• 1961-ben J. Kelly, Henry Arthur és E. Bryson vezette le a folyamatos visszaterjesztés alapfogalmát a kontrollelmélet kontextusában.
• Visszaszaporodás be adatbányászat leegyszerűsíti a hálózati struktúrát azáltal, hogy eltávolítja a súlyozott hivatkozásokat, amelyek minimális hatással vannak a betanított hálózatra.
• Különösen hasznos a mély neurális hálózatok számára, amelyek hibára hajlamos projekteken dolgoznak, mint például a kép- vagy beszédfelismerés.
• A Backpropagation legnagyobb hátránya, hogy érzékeny lehet a zajos adatokra.