Juhendatud masinõpe: Algorithms, tüübid ja näited

⚡ Nutikas kokkuvõte

Juhendatud masinõpe treenib algoritmi märgistatud näidete põhjal, et see saaks ennustada tulemusi andmete jaoks, mida ta pole varem näinud, kasutades numbriliste sihtmärkide puhul regressiooni ja kategooriate sihtmärkide (nt rämpspost või pettus) klassifitseerimist.

  • 🔘 Õpib vastustest: Iga treeningrida kannab õiget väljundit, seega õpib mudel otsese sisend-väljundkaardi.ping.
  • ☑️ Kaks ülesannete perekonda: Regressioon ennustab arvu; klassifitseerimine määrab sildi ühele kahest või enamast klassist.
  • Nimega algoritmid: Lineaarne ja logistiline regressioon, naiivne Bayesi meetod, otsustuspuud, juhuslikud metsad ja tugivektormasinad.
  • 🧪 Töötatud näide: Sõiduaeg ennustatakse ilma, kellaaja, pühade ja valitud marsruudi põhjal.
  • 🛠️ Mõõdetav disaini järgi: Kuna põhitõed on olemas, hindavad täpsus, korrektsus, meeldejäävus ja RMSE mudelit objektiivselt.
  • ⚙️ Kompromiss: Sildistamine on kulukas ja koolituselt puuduvat tundi ei ennustata kunagi õigesti.

Juhendatud masinõpe: algoritmid, tüübid näidetega

Mis on juhendatud masinõpe?

Juhendatud masinõpe on algoritm, mis õpib sildistatud treeningandmetest, et aidata teil ennustada ettenägematute andmete tulemusi. Juhendatud õppes treenite masinat hästi "märgistatud" andmete abil. See tähendab, et mõned andmed on juba õigete vastustega märgistatud. Seda saab võrrelda õppimisega juhendaja või õpetaja juuresolekul.

Täpsete juhendatud masinõppemudelite edukas loomine, skaleerimine ja juurutamine nõuab aega ja tehnilist oskusteavet kõrgelt kvalifitseeritud andmeteadlaste meeskonnalt. Andmeteadlased peavad mudeleid perioodiliselt ümber ehitama, et nende loodud teadmised jääksid tõeseks ka alusandmete muutudes.

Kuidas juhendatud õpe toimib

Järelevalvega masinõpe kasutab soovitud tulemuste saavutamiseks koolituse andmekogumeid. Need andmekogumid sisaldavad sisendeid ja õiget väljundit, mis aitavad mudelil kiiremini õppida. Näiteks soovite õpetada masinat, et aidata teil ennustada, kui kaua teil töökohalt koju sõitmiseks kulub.

Siin alustate märgistatud andmete komplekti loomisega. Need andmed hõlmavad järgmist:

  • Ilmastikutingimused
  • Kellaaeg
  • Holidays
  • Valitud marsruut

Kõik need detailid on teie sisendiks selles juhendatud õppe näites. Väljund on aeg, mis kulus kojusõiduks sel konkreetsel päeval, nagu allolev pilt näitab.

Sõiduaja prognoosi sisendid: ilmastikuolud, kellaaeg, pühad ja valitud marsruut

Sa tead instinktiivselt, et kui väljas sajab vihma, siis võtab kojusõit kauem aega. Aga masin vajab andmeid ja statistikat.

Esimene asi, mida pead looma, on treeningkomplekt. See sisaldab kogu pendelrännaku aega ja vastavaid tegureid, nagu ilm, aeg jne. Selle treeningkomplekti põhjal võib sinu masin näha otsest seost vihma hulga ja koju jõudmiseks kuluva aja vahel.

Seega tehakse kindlaks, et mida rohkem vihma sajab, seda kauem peate koju jõudmiseks sõitma. See võib näha ka seost töölt lahkumise aja ja teel veedetud aja vahel. Mida lähemal kella kuuele õhtul olete, seda kauem aega teil koju jõudmiseks kulub.

Teie masin võib leida mõningaid seoseid teie märgistatud andmetega. See õppimisfaas on näidatud allpool.

Õppefaasi torujuhe: treeningandmetest tunnuste vektoriks, algoritmist treenitud mudeliks
Õppefaas: treeningandmed → tunnuste vektor → algoritm → mudel

See on teie andmemudeli algus. See hakkab salvestama, kuidas vihm mõjutab inimeste sõidustiili ja et teatud kellaajal reisib rohkem inimesi.

Juhendatud masinõppe tüübid Algorithms

Järgmised on juhendatud masinõppe algoritmide tüübid.

Regressioon

Regressioonitehnika ennustab treeningandmete abil ühte pidevat väljundväärtust.

Näide. Regressiooni abil saate koolitusandmete põhjal majahinna ennustada. Sisendmuutujateks on asukoht, maja suurus jne.

Tugevused: Väljundeid on lihtne tõlgendada ja algoritmi saab regulariseerida, et vältida üle sobitamist.

Nõrkused: Lineaarne mudel ei ole paindlik, seega ei taba see keerulisi seoseid ilma lisafunktsioonideta.

Siin on mõned regressiooni tüübid Algorithms:

  • Lineaarne regressioon
  • Polünoomi regressioon
  • Ridge'i ja Lasso regressioon
  • Logistiline regressioon (klassifitseerimiseks)
  • Otsustuspuu ja juhusliku metsa regressioon
  • Toetusvektori regressioon

Logistiline regressioon:

Logistilist regressiooni kasutatakse diskreetsete väärtuste hindamiseks antud sõltumatute muutujate komplekti põhjal. See aitab ennustada sündmuse toimumise tõenäosust, sobitades andmed logitfunktsiooniga. Seetõttu tuntakse seda ka logitregressioonina. Tõenäosuse ennustamisel jääb selle väljundväärtus vahemikku 0 ja 1 ning see võib anda alla ootuste tulemuslikkuse, kui otsustuspiirid on mitmed või mittelineaarsed.

Klassifikatsioon

Klassifitseerimine tähendab väljundi grupeerimist klassi sees. Kui algoritm püüab sisendit jagada kahte eraldi klassi, nimetatakse seda binaarseks klassifikatsiooniks. Rohkem kui kahe klassi vahel valimist nimetatakse mitmeklassiliseks klassifikatsiooniks.

Näide: Selle kindlakstegemine, kas keegi on laenuvõlgnik või mitte.

Tugevused: Klassifikatsioonipuud toimivad praktikas väga hästi.

Nõrkused: Piiranguteta üksikud puud on altid üleistumisele.

Siin on mõned klassifikatsiooni tüübid Algorithms:

  • Naiivsed Bayesi klassifikaatorid
  • Otsustuspuud
  • Toetage vektormasinat
  • K-Lähimad naabrid
  • Juhuslik mets ja gradiendi võimendamine

Naiivsed Bayesi klassifikaatorid

. Naiivne Bayes Mudelit on lihtne luua ja see on väga kasulik suurte andmekogumite puhul. See meetod koosneb suunatud atsüklilistest graafikutest, millel on üks vanem ja mitu last. See eeldab vanematest eraldatud laste sõlmede sõltumatust.

Otsustuspuud

Otsustuspuud klassifitseerivad eksemplari, sorteerides seda tunnuse väärtuse alusel. Selles meetodis on iga sõlm eksemplari see tunnus, mida tuleks klassifitseerida, ja iga haru esindab väärtust, mida sõlm saab eeldada. See on laialdaselt kasutatav klassifitseerimistehnika.

Sama struktuur toimib ka regressiooni puhul: regressioonipuu aitab teil hinnata tegelikke väärtusi (auto ostmise maksumus, kõnede arv, igakuine müügitulu jne).

Toetage vektormasinat

Tugivektorimasin (SVM) on õppealgoritmi tüüp, mis võeti kasutusele 1990. aastatel. See meetod põhineb Vladimir Vapniku ja tema kolleegide väljatöötatud statistilise õppeteooria tulemustel.

SVM-id on tihedalt seotud ka kerneli funktsioonidega, mis on enamiku õppeülesannete keskne mõiste. Kerneli raamistikku ja SVM-i kasutatakse erinevates valdkondades. See hõlmab multimeedia teabe otsimist, bioinformaatikat ja mustrituvastust. Iga ülaltoodud hindaja on dokumenteeritud koos selle häälestamisparameetritega. skikit õppima viide.

Juhendatud vs. juhendamata masinõppe tehnikad

Meetodi kõrvale asetamine järelevalveta õppimine teeb oma piirid selgeks.

Põhineb Juhendatud masinõppe tehnika Järelevalveta masinõppe tehnika
Sisendandmed Algorithms on koolitatud märgistatud andmete abil. Algorithms kasutatakse andmete vastu, mis pole märgistatud
Arvutuslik keerukus Juhendatud õpe on lihtsam meetod. Juhendajata õppimine on arvutuslikult keeruline
Täpsus Väga täpne ja usaldusväärne meetod. Less täpne ja usaldusväärne meetod.
Tüüpilised algoritmid Logistiline regressioon, otsustuspuud, SVM, naiivne Bayesi meetod K-keskmised, hierarhiline klasterdamine, PCA
Kuidas tulemusi hinnatakse Hinnatud teadaolevate vastuste põhjal (täpsus, RMSE) Hinnatud sisemiste mõõdikute ja inimeste poolt läbivaatamise põhjal

Juhendatud masinõppe väljakutsed

Siin on järelevalvega masinõppega seotud väljakutsed.

  • Ebaolulised sisendfunktsioonid treeningandmetes võivad anda ebatäpseid tulemusi.
  • Andmete ettevalmistamine ja eeltöötlus on alati väljakutse.
  • Täpsus kannatab, kui treeningandmetena on sisestatud võimatuid, ebatõenäolisi ja mittetäielikke väärtusi.
  • Kui asjaomane ekspert pole saadaval, on teine ​​lähenemisviis „toores jõud“. See tähendab, et peate ära arvama, milliste omaduste (sisendmuutujate) põhjal masinat treenida, ja see oletus võib olla ebatäpne.

Juhendatud õppimise eelised

Nendele väljakutsetele vastandudes on siin juhendatud masinõppe eelised:

  • Juhendatud õpe sisse Masinõpe võimaldab teil koguda andmeid või luua andmeväljundi varasema kogemuse põhjal
  • Aitab teil kogemusi kasutades optimeerida jõudluskriteeriume
  • Järelevalvega masinõpe aitab teil lahendada erinevat tüüpi reaalmaailma arvutusprobleeme.

Juhendatud õppe puudused

Allpool on toodud juhendatud masinõppe puudused:

  • Otsustuspiir võib olla ületreenitud, kui teie treeningkomplektis pole näiteid, mida klassis soovite.
  • Klassifikaatori treenimise ajal peate valima igast klassist palju häid näiteid.
  • Suurandmete klassifitseerimine võib olla tõeline väljakutse.
  • Juhendatud õppimise koolitus nõuab palju arvutusaega.

Juhendatud õppe parimad tavad

Järgmine järjestus hoiab projekti töös track:

  • Enne kui midagi muud ette võtad, otsusta, milliseid andmeid treeningkomplektina kasutada.
  • Otsusta õpitud funktsiooni struktuur ja õppealgoritm.
  • Koguge vastavad väljundid kas inimestekspertidelt või mõõtmiste abil
  • Hoia alles testikomplekti, mida mudel kunagi ei näe, ja anna selle kohta tulemus teada.

KKK

Klassifikaatoreid hinnatakse täpsuse, korrektsuse, meeldejäävuse ja F1 järgi, mis loetakse segaduse maatriksRegressorid kasutavad RMSE-d, MAE-d või R²-d. Esitage tulemus alati nähtamatute andmete põhjal.

Sildistatud andmed jaotatakse nii, et tavaliselt on 70–80 protsenti treenimiseks ja ülejäänu testimiseks. Testiread jäävad lõpuni puutumata, seega kajastab tulemus nägemata andmeid.

Ülesobitatud mudel jätab meelde müra: treeningtulemus kõrge, testi tulemus halb. Alalobitatud mudel on liiga lihtne ja saab mõlemas halva tulemuse. Regulariseerimine ja kärpimine taastavad tasakaalu.

Fikseeritud arvu pole. See suureneb koos tunnuste ja klasside arvuga. Siltide kvaliteet on olulisem kui toormaht – ebajärjekindlad sildid piiravad täpsust jäädavalt.

Rämpsposti filtreerimine, krediidiskoori hindamine, pettuste avastamine, meditsiiniline triaaž, nõudluse prognoosimine, kinnisvarahinna hindamine ja kõnetuvastus. Igaüks neist seob ajaloolised sisendid salvestatud tulemusega, kujundades juhendatud õppevajadusi.

Pooljuhendatud õpe ühendab väikese sildistatud hulga suure sildistamata hulgaga. Sildistajateta ridade struktuur juhib mudelit, seega täpsus läheneb juhendatud tulemusele madalama sildistamise kuluga.

AutoML-tööriistad otsivad algoritme, teisendavad tunnuseid ja hüperparameetreid ning järjestavad seejärel kandidaadid ristvalideeritud skoori alusel. See välistab enamiku käsitsi katse-eksituse meetodist, kuid inimene valib ikkagi mõõdiku ja kontrollib lekkeid.

GitHubi koopia koostab lühikese käsuviiba abil scikit-learni torujuhtmed, rongi-testi jaotused ja hindamisaruanded. Kontrollib, et jaotus oleks stratifitseeritud ja juhuslik seeme fikseeritud.

Võta see postitus kokku järgmiselt: