Takaisin leviäminen hermoverkossa: koneoppimisalgoritmi

Ennen kuin opimme takaisin leviämisen neuroverkon (BPNN), ymmärrämme:

Mikä on keinotekoinen hermoverkko?

Neuraaliverkko on joukko kytkettyjä I/O-yksiköitä, joissa jokaisella yhteydellä on sen tietokoneohjelmiin liittyvä painoarvo. Se auttaa sinua rakentamaan ennustavia malleja suurista tietokannoista. Tämä malli rakentuu ihmisen hermostoon. Se auttaa sinua suorittamaan kuvan ymmärtämistä, ihmisen oppimista, tietokonepuhetta jne.

Mitä on backpropagation?

backpropagation on hermoverkkokoulutuksen ydin. Se on menetelmä hermoverkon painojen hienosäätämiseksi edellisellä aikakaudella saadun virhesuhteen (eli iteroinnin) perusteella. Painojen oikea viritys mahdollistaa virheprosentin pienentämisen ja mallin luotettavuuden lisäämällä sen yleistystä.

Takaisin eteneminen hermoverkossa on lyhenne sanoista "virheiden leviäminen taaksepäin". Se on vakiomenetelmä keinotekoisten hermoverkkojen harjoittamiseen. Tämä menetelmä auttaa laskemaan häviöfunktion gradientin suhteessa kaikkiin verkon painoihin.

Kuinka Backpropagation Algorithm toimii

Takaisin etenemisalgoritmi neuroverkossa laskee yhden painon häviöfunktion gradientin ketjusäännön avulla. Se laskee tehokkaasti yhden kerroksen kerrallaan, toisin kuin natiivi suora laskenta. Se laskee gradientin, mutta se ei määrittele, kuinka gradienttia käytetään. Se yleistää deltasäännön laskennan.

Harkitse seuraavaa takaisinetenemishermoverkkoesimerkkikaaviota ymmärtääksesi:

Takaisinpropagointialgoritmi
Kuinka Backpropagation Algorithm toimii
  1. Tulot X saapuvat esiliitetyn polun kautta
  2. Syöte mallinnetaan todellisilla painoilla W. Painot valitaan yleensä satunnaisesti.
  3. Laske tulos jokaiselle neuronille tulokerroksesta piilotettuihin kerroksiin ja tuloskerrokseen.
  4. Laske tulosten virhe
ErrorB= Actual Output – Desired Output
  1. Palaa tulostekerroksesta piilotettuun kerrokseen säätääksesi painoja niin, että virhe pienenee.

Toista prosessia, kunnes haluttu tulos on saavutettu

Miksi me tarvitsemme backpropagaatiota?

Backpropagationin merkittävimmät edut ovat:

  • Backpropagation on nopea, yksinkertainen ja helppo ohjelmoida
  • Siinä ei ole viritettävää parametria tulojen numeroiden lisäksi
  • Se on joustava menetelmä, koska se ei vaadi aiempaa tietoa verkosta
  • Se on vakiomenetelmä, joka toimii yleensä hyvin
  • Se ei vaadi erityistä mainintaa opittavan toiminnon ominaisuuksista.

Mikä on Feed Forward -verkko?

Feedforward-hermoverkko on keinotekoinen hermoverkko, jossa solmut eivät koskaan muodosta sykliä. Tällaisessa hermoverkossa on syöttökerros, piilotetut kerrokset ja tuloskerros. Se on ensimmäinen ja yksinkertaisin keinotekoisen hermoverkon tyyppi.

Backpropagation-verkkojen tyypit

Kahden tyyppisiä backpropagation verkkoja ovat:

  • Staattinen takaisin-eteneminen
  • Toistuva Backpropagation

Staattinen takaisin-eteneminen

Se on eräänlainen backpropagation verkko, joka tuottaa staattisen tulon kartoituksen staattista tulosta varten. Se on hyödyllistä ratkaista staattisia luokitteluongelmia, kuten optista merkintunnistusta.

Toistuva Backpropagation

Toistuva Takaisin-eteneminen tiedon louhinnassa syötetään eteenpäin, kunnes saavutetaan kiinteä arvo. Tämän jälkeen virhe lasketaan ja siirretään taaksepäin.

Suurin ero näiden kahden menetelmän välillä on: että kartoitus on nopea staattisessa takaisin-etenemisessä, kun taas se on ei-staattinen toistuvassa takaisin-etenemisessä.

Backpropagation historia

  • Vuonna 1961 J. Kelly, Henry Arthur ja E. Bryson johdattivat jatkuvan backpropagationin peruskäsitteen ohjausteorian yhteydessä.
  • Vuonna 1969 Bryson ja Ho antoivat monivaiheisen dynaamisen järjestelmän optimointimenetelmän.
  • Vuonna 1974 Werbos totesi mahdollisuuden soveltaa tätä periaatetta keinotekoisessa hermoverkossa.
  • Vuonna 1982 Hopfield toi ideansa hermoverkosta.
  • Vuonna 1986, David E. Rumelhartin, Geoffrey E. Hintonin ja Ronald J. Williamsin ponnisteluilla, backpropagation sai tunnustusta.
  • Vuonna 1993 Wan voitti ensimmäisenä kansainvälisen hahmontunnistuskilpailun backpropagation-menetelmän avulla.

Backpropagation avainkohdat

  • Yksinkertaistaa verkon rakennetta elementeillä painotetuilla linkeillä, joilla on vähiten vaikutusta koulutettuun verkkoon
  • Sinun on tutkittava joukko syöttö- ja aktivointiarvoja kehittääksesi suhdetta syöttö- ja piiloyksikkökerrosten välillä.
  • Se auttaa arvioimaan tietyn tulomuuttujan vaikutusta verkon ulostuloon. Tästä analyysistä saatu tieto tulee esittää säännöissä.
  • Takaisinpropagointi on erityisen hyödyllinen syville hermoverkoille, jotka työskentelevät virhealttiissa projekteissa, kuten kuvan tai puheentunnistuksessa.
  • Takaisin eteneminen hyödyntää ketjua ja tehosäännöt mahdollistavat takaisinpropagoinnin toiminnan millä tahansa määrällä lähtöjä.

Paras käytäntö Backpropagation

Takaisin leviäminen hermoverkossa voidaan selittää "Shoe Lace" -analogian avulla

Liian vähän jännitystä =

  • Ei tarpeeksi rajoittava ja erittäin löysä

Liikaa jännitystä =

  • Liikaa rajoituksia (yliharjoittelu)
  • Vie liian paljon aikaa (suhteellisen hidas prosessi)
  • Suurempi murtumisen todennäköisyys

Vedä yhtä pitsiä enemmän kuin toista =

  • Epämukavuus (harha)

Backpropagationin käytön haitat

  • Takaisinpropagoinnin todellinen suorituskyky tietyssä ongelmassa riippuu syöttötiedoista.
  • Takaisin etenemisalgoritmi tiedon louhinnassa voi olla melko herkkä kohinaiselle tiedolle
  • Sinun on käytettävä matriisipohjaista lähestymistapaa taaksepäin levittämiseen mini-erän sijaan.

Yhteenveto

  • Neuraaliverkko on joukko kytkettyjä it I/O-yksiköitä, joissa jokaisella yhteydellä on painoarvo, joka liittyy sen tietokoneohjelmiin.
  • Backpropagation on lyhenne sanoista "virheiden leviäminen taaksepäin". Se on vakiomenetelmä keinotekoisten hermoverkkojen harjoittamiseen
  • Takaisin etenemisalgoritmi sisään koneoppiminen on nopea, yksinkertainen ja helppo ohjelmoida
  • Feedforward BPN-verkko on keinotekoinen hermoverkko.
  • Kahden tyyppisiä backpropagation verkkoja ovat 1) staattinen takaisin eteneminen 2) toistuva takaisin eteneminen
  • Vuonna 1961 J. Kelly, Henry Arthur ja E. Bryson johdattivat jatkuvan backpropagationin peruskäsitteen ohjausteorian yhteydessä.
  • Takaisin lisääntyminen sisään data mining yksinkertaistaa verkon rakennetta poistamalla painotetut linkit, joilla on minimaalinen vaikutus koulutettuun verkkoon.
  • Se on erityisen hyödyllinen syville hermoverkoille, jotka työskentelevät virhealttiissa projekteissa, kuten kuvan tai puheentunnistuksessa.
  • Backpropagationin suurin haittapuoli on, että se voi olla herkkä kohinaisille tiedoille.