Deep Learning Tutorial aloittelijoille: Neuraaliverkon perusteet

Mikä on syväoppiminen?

Syväoppiminen on tietokoneohjelmistoa, joka matkii aivojen hermosolujen verkostoa. Se on osajoukko koneoppiminen perustuu tekoälyverkkoihin ja representaatiooppimiseen. Sitä kutsutaan syväoppimiseksi, koska siinä hyödynnetään syviä neuroverkkoja. Tätä oppimista voidaan valvottu, puolivalvottu tai valvomatta.

Syväoppimisalgoritmit rakennetaan toisiinsa kytketyistä kerroksista, kuten alla oleva kaavio osoittaa.

• Ensimmäistä kerrosta kutsutaan syöttötasoksi
• Viimeistä kerrosta kutsutaan tulostuskerrokseksi
• Kaikkia niiden välissä olevia kerroksia kutsutaan piilokerroksiksi. Sana "syvä" tarkoittaa, että verkko yhdistää neuroneja useamman kuin kahden kerroksen yli.

Jokainen piilotettu kerros koostuu neuroneista. Neuronit ovat yhteydessä toisiinsa. Neuroni käsittelee vastaanottamansa tulosignaalin ja välittää sitten tuloksen sen yläpuolella olevalle kerrokselle. Seuraavan kerroksen neuronille välitetyn signaalin voimakkuus riippuu painosta, biasista ja aktivointifunktiosta.

Verkko kuluttaa suuria määriä syöttödataa ja toimii sen parissa useiden kerrosten kautta, joten verkko voi oppia yhä monimutkaisempia ominaisuuksia datasta jokaisella kerroksella.

Syväoppimisprosessi

Syvä neuroverkko tarjoaa huippuluokan tarkkuutta monissa tehtävissä objektien tunnistamisesta puheentunnistukseen. Tällaiset verkot voivat oppia automaattisesti ilman ohjelmoijien nimenomaisesti koodaamaa ennalta määriteltyä tietoa. Käytännössä syväoppimisprojekti etenee viiden vaiheen läpi:

• Ymmärrä ongelma
• Tunnista tiedot
• Valitse syväoppimisalgoritmi
• Harjoittele mallia
• Testaa malli

Syväoppimisen idean ymmärtämiseksi kuvittele perhe, jossa on vauva ja vanhemmat. Taapero osoittaa esineitä pikkusormellaan ja sanoo aina sanan "kissa". Koska hänen vanhempansa ovat huolissaan hänen koulutuksestaan, he sanovat hänelle jatkuvasti "Kyllä, tuo on kissa" tai "Ei, tuo ei ole kissa". Vauva jatkaa esineiden osoittamista, mutta hänestä tulee tarkempi sanalla "kissoja". Pieni lapsi ei syvällä sisimmässään tiedä, miksi hän voi sanoa sen olevan kissa tai ei. Hän on yksinkertaisesti oppinut järjestämään kissan ominaisuudet hierarkiaan, tarkastelemalla lemmikkiä kokonaisuutena ja keskittymällä sitten yksityiskohtiin, kuten häntään tai kuonoon, ennen kuin tekee päätöksensä.

Neuroverkko toimii paljolti samalla tavalla. Jokainen kerros edustaa syvempää tiedon tasoa eli tiedon hierarkiaa. Neljän kerroksen neuroverkko oppii monimutkaisempia ominaisuuksia kuin kaksikerroksinen verkko.

Oppiminen tapahtuu kahdessa vaiheessa:

• Ensimmäinen vaihe: syötteen epälineaarisen muunnosta soveltamalla ja tuotoksena luomalla tilastollisen mallin.
• Toinen vaihe: mallin parantaminen derivaattoihin perustuvalla matemaattisella menetelmällä, eli miten takaisinlisäystä säätää painoja.

Neuroverkko toistaa näitä kahta vaihetta satoja tai jopa tuhansia kertoja, kunnes se on saavuttanut siedettävän tarkkuustason. Jokaista kahden vaiheen toistoa kutsutaan iteraatioksi.

Syväoppimisen esimerkin antaa alla oleva animaatio, jossa malli yrittää oppia tanssimaan. Kymmenen minuutin harjoittelun jälkeen malli ei osaa tanssia, ja sen tulos näyttää piirrokselta.

48 tunnin oppimisen jälkeen tietokone hallitsee tanssin taidon, kuten toinen animaatio osoittaa.

Neuroverkkojen luokittelu

Verkot ryhmitellään ensin piilotettujen kerrosten määrän mukaan.

Matala neuroverkko: Pinnallisessa neuroverkossa on vain yksi piilotettu kerros syötteen ja lähdön välissä.

Syvä neuroverkko: Syvissä neuroverkoissa on useampi kuin yksi piilotettu kerros. Esimerkiksi kuvantunnistukseen tarkoitettu GoogLeNet-malli laskee 22 kerrosta.

Nykyään syväoppimista esiintyy itseohjautuvissa autoissa, matkapuhelimissa, Google hakukone, petostentorjunta ja televisio.

Syväoppimisverkostojen tyypit

Useista arkkitehtuureista on tullut standardeja, ja jokainen niistä on muokannut käsiteltävien tietojen tyyppiä. Alla oleva Asimov-instituutin julkaisema kaavio kartoittaa laajemman arkkitehtuuriperheen.

Feed-forward-hermoverkot

Tämä on yksinkertaisin tekoälyverkon tyyppi. Tällaisessa arkkitehtuurissa informaatio virtaa vain yhteen suuntaan, eteenpäin. Se tarkoittaa, että informaatiovirta alkaa tulokerroksesta, menee "piilotettuihin" kerroksiin ja päättyy lähtökerrokseen. Verkossa ei ole silmukkaa, ja informaatio pysähtyy lähtökerrokseen.

Toistuvat neuroverkot (RNN:t)

An RNN on monikerroksinen neuroverkko, joka voi tallentaa tietoa kontekstisolmuihin, jolloin se voi oppia datasarjoja ja tuottaa tulokseksi numeron tai muun sekvenssin. Yksinkertaisesti sanottuna se on keinotekoinen neuroverkko, jonka neuronien väliset yhteydet sisältävät silmukoita. RNN:t soveltuvat hyvin syötesarjojen käsittelyyn, koska tuloste syötetään takaisin verkkoon muistina.

Jos esimerkiksi tehtävänä on ennustaa seuraava sana lauseessa ”Haluatko …?”, verkko toimii näin:

• RNN-neuronit vastaanottavat signaalin, joka osoittaa lauseen alkuun.
• Verkko vastaanottaa syötteenä sanan ”Do” ja tuottaa numerovektorin. Tämä vektori syötetään takaisin neuronille muistin tarjoamiseksi verkolle. Tämä vaihe auttaa verkkoa muistamaan, että se vastaanotti ”Do”-sanan ja että se vastaanotti sen ensimmäisenä.
• Verkko toimii samalla tavalla kuin seuraavien sanojen kanssa. Se ottaa ensin sanan ”sinä” ja sitten ”haluat”. Neuronien tila päivittyy jokaisen sanan vastaanottamisen yhteydessä.
• Viimeinen vaihe tapahtuu sanan "a" vastaanottamisen jälkeen. Neuroverkko antaa todennäköisyyden jokaiselle englanninkieliselle sanalle, joka voisi täydentää lauseen. Hyvin koulutettu neuroverkko antaa todennäköisesti suuren todennäköisyyden sanoille "café", "drink", "burger" ja vastaaville.

RNN:n yleiset käyttötavat

• Auta arvopaperikauppiaita luomaan analyyttisiä raportteja
• Havaitse poikkeavuuksia tilinpäätöksissä
• Havaitse petolliset luottokorttitapahtumat
• Anna kuville kuvateksti
• teho chatbots
• RNN:n tavanomaisia ​​käyttötarkoituksia esiintyy, kun ammattilaiset työskentelevät aikasarjadatan tai -sekvenssien, esimerkiksi äänitallenteiden tai tekstin, kanssa.

Konvoluutio-neuroverkot (CNN)

A CNN on monikerroksinen neuroverkko, jolla on ainutlaatuinen arkkitehtuuri, joka on suunniteltu extract yhä monimutkaisempia ominaisuuksia datassa jokaisella tasolla tulosteen määrittämiseksi. CNN-verkot sopivat hyvin havaintotehtäviin.

CNN:ää käytetään enimmäkseen silloin, kun on olemassa strukturoimaton tietojoukko, kuten kuvat, ja ammattilaisten on tutkittavatract tietoa siitä.

Jos tehtävänä on esimerkiksi ennustaa kuvan kuvateksti:

• CNN vastaanottaa kuvan, sanotaan vaikkapa kissasta. Laskennallisesti tämä kuva on kokoelma pikseleitä, yleensä yksi kerros harmaasävykuvalle ja kolme kerrosta värikuvalle.
• Ominaisuuksien oppimisvaiheessa eli piilotettujen kerrosten aikana verkko tunnistaa ainutlaatuisia ominaisuuksia, esimerkiksi kissan hännän tai korvan.
• Kun verkko on perusteellisesti oppinut tunnistamaan kuvan, se voi tarjota todennäköisyyden jokaiselle tuntemalleen kuvatyypille. Suurimman todennäköisyyden omaavasta merkistä tulee verkon ennuste.

Vahvistusoppiminen

Vahvistusoppiminen on koneoppimisen osa-alue, jossa järjestelmiä koulutetaan vastaanottamalla virtuaalisia "palkintoja" tai "rangaistuksia", eli oppimalla käytännössä yrityksen ja erehdyksen kautta. Se on oppimisparadigma pikemminkin kuin verkostomuoto, mutta sen modernit algoritmit perustuvat syviin verkkoihin. GoogleDeepMind käytti vahvistusoppimista voittaakseen ihmismestarin Go-pelissä. Vahvistusoppimista käytetään myös videopeleissä pelikokemuksen parantamiseen tarjoamalla älykkäämpiä botteja.

Joitakin tunnetuimpia algoritmeja ovat:

• Q-oppiminen
• Syvä Q-verkko
• State-Action-Reward-State-Action (SARSA)
• Deep Deterministic Policy Gradient (DDPG)

Alla oleva taulukko näyttää yhteenvedon siitä, milloin kukin arkkitehtuuri sopii.

Archirakenne	Sopiva data	Erottuva piirre	Tyypillinen tehtävä
Syöttö eteenpäin	Kiinteän pituinen taulukkomuotoinen syöte	Ei silmukoita; tieto liikkuu vain eteenpäin	Pisteytys ja yksinkertainen luokittelu
Toistuva (RNN)	Sekvenssit ja aikasarjat	Kontekstinoodit antavat sille muistia	Tekstin ennustus, ääni, ennuste
Konvoluutio (CNN)	Ruudukkomainen strukturoimaton data	Konvoluutio- ja yhdistämisesimerkkitract ominaisuuksia	Kuvien luokittelu ja kuvatekstit
Vahvistusoppiminen	Ympäristö, ei tietojoukko	Oppii palkinnoista ja rangaistuksista	Peliagentit, robotiikka, ohjaus

Esimerkkejä syväoppimisen sovelluksista

Näitä arkkitehtuureja tuotetaan jo hyvin eri toimialoilla:

Tekoäly rahoituksessa

Finanssiteknologiasektori on jo alkanut käyttää tekoälyä ajan säästämiseen, kustannusten vähentämiseen ja arvon lisäämiseen. Syväoppiminen muuttaa laina-alaa vankemman luottoluokituksen avulla. Luottopäätöksentekijät voivat käyttää tekoälyä luottohakemusten tekemisessä nopeamman ja tarkemman riskinarvioinnin saavuttamiseksi hyödyntäen koneälyä hakijoiden luonteen ja kapasiteetin huomioon ottamiseksi.

Underwrite on fintech-yritys, joka tarjoaa tekoälyratkaisun luottopäättäjille. underwrite.ai käyttää tekoälyä havaitakseen, kuka hakijoista todennäköisemmin maksaa lainan takaisin. Yrityksen mukaan tämä lähestymistapa on perinteisiä tuloskortteja parempi.

AI HR:ssä

Under Armour, urheiluvaateyritys, revolutionisoi rekrytointia ja modernisoi ehdokaskokemusta tekoälyn avulla. Under Armour kohtasi valtavan kiinnostuksen vuonna 2012 ja vastaanotti keskimäärin yli 30 000 hakemusta kuukaudessa. Kaikkien hakemusten lukeminen ja seulonta- ja haastatteluprosessin aloittaminen vei liian kauan. Pitkä prosessi työntekijöiden palkkaamiseksi ja perehdyttämiseksi vaikutti Under Armourin kykyyn saada vähittäismyymälät täysin miehitettyinä, vauhditettuina ja toimintavalmiiksi.

Tuolloin Under Armourilla oli käytössään kaikki välttämätön HR-teknologia, kuten transaktiopohjaiset ratkaisut rekrytointiin, hakemiseen, trackuningas ja perehdytys, mutta ne eivät yksinään riittäneet. Under Armour valitsi HireVuen, tekoälyyn perustuvan HR-ratkaisujen tarjoajan, sekä tilaus- että live-haastatteluihin. Tulokset olivat silmiinpistäviä: yritys raportoi lyhentäneensä työpaikkojen täyttämiseen kuluvaa aikaa 35 % ja samalla parantaneensa palkkaamansa henkilöstön laatua.

AI markkinoinnissa

Tekoäly on arvokas työkalu asiakaspalvelun hallintaan ja personointihaasteisiin. Tekoälytekniikoiden soveltamisen ansiosta parannettu puheentunnistus puhelinkeskusten hallinnassa ja puheluiden reitityksessä mahdollistaa saumattomamman asiakaskokemuksen.

Esimerkiksi äänen syväoppimisanalyysi antaa järjestelmille mahdollisuuden arvioida asiakkaan tunnetilaa. Jos asiakas reagoi huonosti tekoälychatbottiin, järjestelmä voi ohjata keskustelun oikealle ihmisoperaattorille, joka ottaa asian hoitaakseen.

Yllä mainittujen kolmen syväoppimisesimerkin lisäksi tekoälyä käytetään laajalti muillakin sektoreilla ja toimialoilla.

Miksi syväoppiminen on tärkeää?

Syväoppiminen on tehokas työkalu ennusteiden muuttamiseen toimiviksi tuloksiksi. Syväoppiminen on erinomaista säännönmukaisuuksien löytämisessä ja tietoon perustuvassa ennustamisessa. Big data on syväoppimisen polttoaine. Kun molemmat yhdistetään, organisaatio voi saavuttaa aiemmin saavuttamattomissa olevia tuloksia tuottavuudessa, myynnissä, johtamisessa ja innovaatioissa.

Syväoppiminen voi myös ylittää perinteiset menetelmät. Erityisesti havaintokyvyn osalta syvät verkot ovat olleet parhaita jo vuosia: kuvien luokittelu, puheentunnistus ja kasvojentunnistus ovat kaikki syväarkkitehtuurien hallitsemia, ja kasvojentunnistusmallit saavuttavat lähes 99 %:n tarkkuuden julkisissa standarditesteissä. Hyöty tulee siitä, että verkko oppii omat ominaisuutensa sen sijaan, että luottaisi käsin kehitettyihin ominaisuuksiin.

Syväoppimisen rajoitukset

Näillä tuloksilla on todellisia kustannuksia.

Tietojen merkinnät

Useimmat nykyiset tekoälymallit koulutetaan ohjatun oppimisen avulla. Tämä tarkoittaa, että ihmisten on nimettävä ja luokiteltava taustalla oleva data, mikä voi olla mittava ja virhealtis tehtävä. Esimerkiksi yritykset kehittävätping Itseohjautuvien autojen teknologiayritykset palkkaavat satoja ihmisiä kommentoimaan manuaalisesti tuntikausia videosyötteitä prototyyppiajoneuvoista näiden järjestelmien kouluttamiseksi.

Hanki valtavia koulutustietojoukkoja

On osoitettu, että syväoppimistekniikat, kuten CNN, voivat joissakin tapauksissa jäljitellä lääketieteen ja muiden alojen asiantuntijoiden tietämystä. Tämä koneoppimisen aalto vaatii kuitenkin harjoitusdatajoukkoja, jotka ovat paitsi nimettyjä myös riittävän laajoja ja universaaleja.

Syväoppimismenetelmät vaativat tuhansia havaintoja, jotta malleista tulisi suhteellisen hyviä luokittelutehtävissä, ja joissakin tapauksissa miljoonia havaintoja, jotta ne suoriutuisivat ihmisen tasolla. Ei ole yllättävää, että syväoppiminen on yleisintä jättimäisissä teknologiayrityksissä, jotka käyttävät big dataa petatavujen esimerkkien keräämiseen. Tämä mittakaava mahdollistaa heille vaikuttavien ja erittäin tarkkojen syväoppimismallien luomisen.

Selitä ongelma

Suuria ja monimutkaisia ​​malleja voi olla vaikea selittää ihmiskeholla, esimerkiksi miksi tiettyyn päätökseen päädyttiin. Se on yksi syy siihen, miksi joidenkin hyväksyminen tekoäly työkalujen käyttö on hidasta sovellusalueilla, joilla tulkittavuus on hyödyllistä tai jopa välttämätöntä.

Lisäksi, kun tekoälyn sovellus laajenee, sääntelyvaatimukset voivat myös lisätä tarvetta selitettäville tekoälymalleille.

UKK