Gépi tanulási oktatóanyag kezdőknek: Mi az, az ML alapjai
Evelyn Clarke
⚡ Okos összefoglaló
A gépi tanulás olyan számítógépes algoritmusok családja, amelyek példákból fejlődnek ahelyett, hogy explicit módon kódolnák őket, az adatokat statisztikai eszközökkel kombinálva olyan kimeneteket jósolnak meg, amelyeket az emberek cselekvésre ösztönző döntésekké alakíthatnak.
Mi a gépi tanulás?
Gépi tanulás egy számítógépes algoritmusok rendszere, amely képes példákból tanulni önfejlesztés révén, anélkül, hogy egy programozó explicit módon kódolná. A gépi tanulás a mesterséges intelligencia amely az adatokat statisztikai eszközökkel kombinálva olyan kimenet előrejelzésére szolgál, amely felhasználható a gyakorlatban hasznosítható információk előállításához.
Az áttörést az az elképzelés hozza magával, hogy egy gép képes önállóan tanulni az adatokból (azaz a példákból) a pontos eredmények elérése érdekében. A gépi tanulás szorosan kapcsolódik a következőkhöz: adatbányászat és a Bayes-féle prediktív modellezés. A gép bemenetként fogadja az adatokat, és egy algoritmus segítségével fogalmazza meg a válaszokat.
Egy tipikus gépi tanulási feladat egy ajánlás megadása. Azok számára, akiknek van egy Netflix fiókban minden film- vagy sorozatajánlás a felhasználó korábbi adatain alapul. A tech cégek ezt használják felügyelet nélküli tanulás a felhasználói élmény javítása érdekében személyre szabott ajánlásokkal.
A gépi tanulást számos feladathoz is használják, például csalásészleléshez, prediktív karbantartáshoz, portfólióoptimalizáláshoz és feladatautomatizáláshoz.
Gépi tanulás kontra hagyományos programozás
A hagyományos programozás jelentősen eltér a gépi tanulástól. A hagyományos programozás során a programozó az összes szabályt egy, az adott iparágban dolgozó szakértővel konzultálva írja le, amely számára a szoftvert fejlesztik. Minden szabály logikai alapokon nyugszik; a gép a logikai utasítás követésével állítja elő a kimenetet. Amikor a rendszer bonyolulttá válik, további szabályokat kell írni, és a karbantartása gyorsan fenntarthatatlanná válhat. Az alábbi ábra ezt a folyamatot mutatja, ahol az adatok és a kézzel írott szabályok bemennek, a válaszok pedig kijönnek.
A gépi tanulás célja ennek a problémának a leküzdése. A gép megtanulja, hogyan korrelálnak a bemeneti és kimeneti adatok, és maga írja meg a szabályt. A programozóknak nem kell minden alkalommal új szabályokat írniuk, amikor új adatok jelennek meg. Az algoritmusok az új adatokhoz és tapasztalatokhoz igazodva alkalmazkodnak, hogy idővel javítsák a hatékonyságot. A második ábra megfordítja az elsőt: adatok és ismert válaszok kerülnek be, és a szabály jön ki.
Hogyan működik a gépi tanulás?
Ezzel az ellentéttel a következő kérdés az, hogy mi is történik valójában a tanulási lépésben.
A gépi tanulás az agy, ahol az összes tanulás zajlik. A gép tanulási módja hasonló ahhoz, ahogyan egy ember tanul. Az emberek tapasztalatból tanulnak: minél többet tudunk, annál könnyebben tudunk előre jelezni. Analógia útján, amikor ismeretlen helyzettel szembesülünk, a siker valószínűsége kisebb, mint egy ismert helyzetben. A gépeket ugyanígy képezik. A pontos előrejelzéshez a gép egy példát lát. Amikor egy hasonló példát adunk a gépnek, ki tudja találni az eredményt. Azonban, mint egy ember, ha egy korábban nem látott példát kap, a gép nehezen tud előre jelezni.
A gépi tanulás fő céljai a tanulás és a következtetés. Először is, a gép minták felfedezésén keresztül tanul, és ezt a felfedezést az adatok teszik lehetővé. Az adattudós munkájának egyik kulcsfontosságú része, hogy gondosan válassza ki, mely adatokat adja át a gépnek. A probléma megoldásához használt attribútumok listáját egynek nevezzük. jellemző vektorA jellemzővektort úgy képzelhetjük el, mint az adatok egy részhalmazát, amelyet egy probléma megoldására használunk.
A gép algoritmusokat használ a valóság egyszerűsítésére és a felfedezés modellé alakítására. A tanulási szakasz tehát az adatok leírására és modellé összegzésére szolgál, az alábbiak szerint.
Például a gép megpróbálja megérteni az egyén bére és egy elegáns étterembe járás valószínűsége közötti kapcsolatot. Kiderül, hogy a gép pozitív kapcsolatot talál a bér és a felső kategóriás étterembe járás között: ez a modell.
Következtetés
Amikor a modell felépítésre kerül, lehetőség van a hatékonyságának tesztelésére korábban soha nem látott adatokon. Az új adatokat jellemzővektorrá alakítja a rendszer, átmegy a modellen, és predikciót ad. Ez a gépi tanulás értékes része. Nincs szükség a szabályok frissítésére vagy a modell újbóli betanítására – a korábban betanított modell segítségével következtetéseket vonhatunk le új adatokból, pontosan úgy, ahogy az alábbi ábra mutatja.
Egy gépi tanulási program élete egyszerű, és a következő pontokban foglalható össze:
- Határozzon meg egy kérdést
- Adatgyűjtés
- Vizualizálja az adatokat
- Vonat algoritmus
- Az algoritmus tesztelése
- Gyűjts visszajelzést
- Finomítsa az algoritmust
- Ismételje meg a 4–7. lépéseket, amíg az eredmények kielégítőek nem lesznek.
- Használja a modellt az előrejelzéshez
Amint az algoritmus képes lesz levonni a megfelelő következtetéseket, ezt a tudást új adathalmazokra alkalmazza.
Gépi tanulás Algorithms és hol használják?
Az alábbi táblázat a leggyakoribb algoritmusokat csoportosítja a megoldandó feladatok típusa szerint.
A gépi tanulás két nagy tanulási feladatra osztható: felügyelt és a felügyelet nélkülKét további család helyezkedik el közöttük és mögöttük – a félig felügyelt tanulás, amely egy kis címkézett halmazt egy nagy címkézetlennel kever, és megerősítő tanulás, ahol egy ügynök jutalmakból tanul, nem pedig címkézett válaszokból.
Felügyelt tanulás
Egy algoritmus betanítási adatokat és emberektől származó visszajelzéseket használ fel az adott bemenetek és egy adott kimenet közötti kapcsolat megismerésére. Például egy szakember felhasználhatja a marketingköltségeket és az időjárás-előrejelzést bemeneti adatként a konzervdobozok eladásának előrejelzésére.
Használhatja felügyelt tanulás amikor a kimeneti adatok ismertek. Az algoritmus ezután új adatok alapján fog előrejelzést készíteni.
A felügyelt tanulásnak két kategóriája van:
- Osztályozási feladat
- Regressziós feladat
Osztályozás
Képzeld el, hogy meg szeretnéd jósolni egy reklámfilm vásárlójának nemét. Először is adatokat gyűjtesz a vásárlói adatbázisodból a magasságról, súlyról, munkakörről, fizetésről, bevásárlókosárról stb. Ismered az egyes vásárlóid nemét, és az csak férfi vagy nő lehet. Az osztályozó célja, hogy a begyűjtött információk (azaz a jellemzők) alapján valószínűséget rendeljen hozzájuk, hogy férfi vagy nő-e. Amikor a modell megtanulta, hogyan ismerje fel a férfi vagy nő nemet, új adatok felhasználásával előrejelzést készíthetsz. Például, ha új információt kaptál egy ismeretlen vásárlótól, és tudni szeretnéd, hogy a vásárló férfi vagy nő-e. Ha az osztályozó 70%-os férfi-előrejelzést ad, az azt jelenti, hogy az algoritmus 70%-ban biztos abban, hogy ez a vásárló férfi, és 30%-ban biztos abban, hogy a vásárló nő.
A címkének két vagy több osztálya is lehet. A fenti gépi tanulási példa csak két osztállyal rendelkezik, de ha egy osztályozónak objektumokat kell megjósolnia, akkor akár több tucat osztálya is lehet (pl. üveg, asztal, cipők – minden objektum egy osztályt képvisel).
Regresszió
Amikor a kimenet egy folytonos érték, a feladat egy regresszió. Például egy pénzügyi elemzőnek előre kell jeleznie egy részvény értékét olyan jellemzők alapján, mint a saját tőke, a részvény korábbi teljesítménye és a makrogazdasági indexek. A rendszert úgy képezik ki, hogy a lehető legkisebb hibával becsülje meg a részvény árát.
Az alábbi táblázat felsorolja a leggyakrabban előforduló felügyelt algoritmusokat, és az egyes algoritmusok feladatait.
| Algoritmus | Leírás | típus |
|---|---|---|
| Lineáris regresszió | Megtalálja a módját, hogy az egyes jellemzőket a kimenettel korrelálja, hogy segítsen előre jelezni a jövőbeli értékeket. | Regresszió |
| Logisztikus regresszió | Lineáris regresszió kiterjesztése, amelyet osztályozási feladatokhoz használnak. A kimeneti változó bináris (pl. csak fekete vagy fehér), nem pedig folytonos (pl. a lehetséges színek végtelen listája). | Osztályozás |
| Döntési fa | Jól értelmezhető osztályozási vagy regressziós modell, amely az adatjellemzők értékeit ágakra osztja a döntési csomópontokon (pl. ha egy jellemző egy szín, minden lehetséges szín új ággá válik), amíg meg nem születik a végső döntés kimenet | Regresszió Osztályozás |
| Naiv Bayes | A Bayes-módszer egy olyan osztályozási módszer, amely a Bayes-tételt használja. A tétel frissíti az esemény előzetes tudását minden olyan jellemző független valószínűségével, amely befolyásolhatja az eseményt. | Regresszió Osztályozás |
| Támogatja a vektor gépet | A Support Vector Machine-t, vagy SVM-et jellemzően osztályozási feladatokhoz használják. Az SVM algoritmus egy olyan hipersíkot talál, amely optimálisan osztja fel az osztályokat. Legjobb nemlineáris megoldóval használni. | Regresszió (nem túl gyakori) Osztályozás |
| Véletlen erdő | Az algoritmus egy döntési fára épül a pontosság drasztikus javítása érdekében. A véletlenszerű erdő sok egyszerű döntési fát generál, és a „többségi szavazat” módszerét használja annak eldöntésére, hogy melyik címkét adja vissza. Az osztályozási feladatnál a végső predikció a legtöbb szavazatot kapott lesz; a regressziós feladatnál az összes fa átlagos predikciója a végső predikció. | Regresszió Osztályozás |
| AdaBoost | Osztályozási vagy regressziós technika, amely modellek sokaságát használja a döntés meghozatalához, de mérlegeli azokat a pontosságuk alapján az eredmény előrejelzésében | Regresszió Osztályozás |
| Gradiensnövelő fák | A színátmenet-növelő fák egy korszerű osztályozási/regressziós technika. Az előző fák által elkövetett hibákra összpontosít, és megpróbálja azokat kijavítani. | Regresszió Osztályozás |
Nem felügyelt tanulás
A felügyelet nélküli tanulás során egy algoritmus bemeneti adatokat vizsgál anélkül, hogy explicit kimeneti változót kapna (pl. az ügyfelek demográfiai adatait vizsgálja mintázatok azonosítása érdekében).
Használhatod, ha nem tudod, hogyan kell osztályozni az adatokat, és azt szeretnéd, hogy az algoritmus megtalálja a mintákat és csoportosítsa az adatokat. A főbb felügyelet nélküli algoritmusokat az alábbiakban foglaljuk össze.
| Algoritmus neve | Leírás | típus |
|---|---|---|
| A K-csoportosítást jelent | Az adatokat néhány csoportba sorolja (k), amelyek mindegyike hasonló jellemzőkkel rendelkező adatokat tartalmaz (a modell által meghatározott, nem az emberek által előre meghatározott) | ClusterING |
| Gauss keverék modell | A k-means klaszterezés általánosítása, amely nagyobb rugalmasságot biztosít a csoportok (klaszterek) méretében és alakjában. | ClusterING |
| Hierarchikus csoportosítás | Egy hierarchikus fa mentén osztja fel a fürtöket, hogy osztályozási rendszert hozzon létre. Használható hűségkártyás ügyfelek fürtözésére. | ClusterING |
| Ajánlói rendszer | Segít meghatározni a releváns adatokat egy ajánlás megtételéhez. | ClusterING |
| PCA/t-SNE | Leginkább az adatok dimenziójának csökkentésére használják. Az algoritmusok a jellemzők számát 3 vagy 4 vektorra csökkentik a legnagyobb eltérésekkel. | Méretcsökkentés |
Hogyan válasszunk gépi tanulási algoritmust
Rengeteg gépi tanulási algoritmus létezik, és az algoritmus kiválasztását inkább a cél, mint a divat vezérli.
Az alábbi gépi tanulási példában a feladat az, hogy három fajta közül megjósoljuk a virág típusát. Az előrejelzések a szirom hosszán és szélességén alapulnak. A kép tíz különböző algoritmus eredményeit mutatja. A bal felső sarokban lévő kép maga az adathalmaz, amelyben az adatok három kategóriába sorolhatók: piros, világoskék és sötétkék. Néhány csoport...pingláthatók. Például a második képen a bal felső sarokban minden a piros kategóriába tartozik, a középső rész a bizonytalanság és a világoskék keverékét tartalmazza, míg az alsó a sötét kategóriának felel meg. A többi kép azt mutatja, hogy a különböző algoritmusok hogyan próbálják osztályozni ugyanazokat az adatokat.
Miután kiválasztottak egy jelöltet, a minőségét olyan adatok alapján ítélik meg, amelyeket korábban még nem látott, általában egy zavart mátrix valamint az ebből származó pontossági, precizitási és visszaidézési adatok.
A gépi tanulás kihívásai és korlátai
A gépi tanulás elsődleges kihívása az adatok hiánya, vagyis az adathalmazon belüli diverzitás hiánya. Egy gép nem tud tanulni, ha nincsenek elérhető adatok. A diverzitás hiánya a gép számára is nehézséget okoz, mivel a gépnek heterogenitásra van szüksége ahhoz, hogy értelmes ismereteket tanuljon. Ritka, hogy egy algoritmus képes legyen...tracinformáció, ha nincsenek vagy csak kevés variáció van. Általános ökölszabály, hogy csoportonként legalább 20 megfigyeléssel kell rendelkezni a gépi tanulás elősegítése érdekében; ez alatt mind a kiértékelés, mind az előrejelzés csorbul.
Az adatmennyiség nem az egyetlen korlát. Az elfogult historikus adatokon képzett modellek reprodukálják ezt az elfogultságot, az összetett modelleket nehéz elmagyarázni egy szabályozó hatóságnak vagy egy ügyfélnek, és minden modell lebomlik, ahogy a világ, amelyen betanították, változik.
A gépi tanulás alkalmazása
A fenti technikák már a legtöbb iparágban működnek. Az alábbi példák az általános segítségnyújtástól a konkrét ágazatok felé haladnak.
Kiegészítés: A gépi tanulás segíti az embereket a mindennapi feladataik elvégzésében, legyenek azok személyesek vagy kereskedelmi jellegűek, anélkül, hogy teljes mértékben ellenőriznék a kimenetet. Az ilyen típusú gépi tanulást különböző módokon alkalmazzák, például virtuális asszisztensekben, adatelemzésben és szoftveres megoldásokban. Az elsődleges cél az emberi elfogultság okozta hibák csökkentése.
Automatizálás: A gépi tanulás bármilyen területen teljesen önállóan működik, emberi beavatkozás nélkül. Például a robotok elvégzik a gyártóüzemekben a legfontosabb folyamatlépéseket.
Pénzügyi szektor: A gépi tanulás egyre népszerűbb a pénzügyi szektorban. A bankok főként az adatokon belüli minták megtalálására, de a csalások megelőzésére is használják.
Kormányzati szervezetek: A kormányok a gépi tanulást (ML) használják a közbiztonság és a közművek kezelésére. Vegyük például Kínát és annak nagyszabású arcfelismerő programját, ahol mesterséges intelligencia alkalmazások a gyalogosok azonosítására szolgálnak.
Egészségügyi ipar: Az egészségügy volt az egyik első iparág, amely gépi tanulást alkalmazott, kezdve a képfelismeréssel.
Marketing: A mesterséges intelligencia széles körű alkalmazása a marketingben a bőséges adathozzáférésnek köszönhetően. A tömeges adatmennyiség kora előtt a kutatók fejlett matematikai eszközöket fejlesztettek ki, például a Bayes-analízist, hogy megbecsüljék az ügyfelek értékét. Az adatfellendüléssel a marketingosztályok a mesterséges intelligenciára támaszkodnak az ügyfélkapcsolatok és a marketingkampányok optimalizálása érdekében.
Példa a gépi tanulásra az ellátási láncban
A gépi tanulás kiváló eredményeket mutat a vizuális mintázatfelismerés terén, számos potenciális alkalmazási lehetőséget nyitva meg a fizikai ellenőrzés és karbantartás terén a teljes ellátási lánc hálózatában.
A felügyelet nélküli tanulás gyorsan képes összehasonlítható mintákat keresni egy változatos adathalmazban. A gép viszont minőségellenőrzést végezhet a logisztikai központban, és megjelölheti a sérült és kopott szállítmányokat.
Például, IBMA Watson platformja képes meghatározni a hajótping konténerkárosodás. A Watson vizuális és rendszeralapú adatokat kombinál a track, valós időben jelentést készít és ajánlásokat tesz.
A múltban a készletgazdálkodók nagymértékben manuális módszerekre támaszkodtak a készletek értékeléséhez és előrejelzéséhez. A big data és a gépi tanulás kombinálásával jobb előrejelzési technikák válnak lehetővé, amelyek a hagyományos előrejelző eszközökhöz képest 20-30 százalékos javulásról számolnak be. Az értékesítés tekintetében ez 2-3 százalékos növekedést jelent a készletköltségek potenciális csökkenésének köszönhetően.
Példa a gépi tanulásra a Google Autó
Mindenki tudja, hogy Google autó. Az autó tetejét lézerek borítják, amelyek jelzik az autó helyzetét a környező területhez képest. Elöl radar található, amely tájékoztatja az autót a körülötte lévő összes autó sebességéről és mozgásáról. Ezeket az adatokat nemcsak arra használja, hogy kitalálja, hogyan kell vezetni az autót, hanem arra is, hogy megjósolja, mit fognak tenni a körülötte lévő sofőrök. Lenyűgöző, hogy az autó másodpercenként közel egy gigabájt adatot dolgoz fel.
Miért fontos a gépi tanulás?
A gépi tanulás eddig a legjobb eszköz az adatok elemzésére, megértésére és mintázatok azonosítására. A gépi tanulás egyik fő gondolata, hogy egy számítógép betanítható olyan feladatok automatizálására, amelyek egy ember számára kimerítőek vagy lehetetlenek lennének. A hagyományos elemzéssel szembeni egyértelmű eltérés az, hogy a gépi tanulás minimális emberi beavatkozással képes döntéseket hozni.
Vegyük a következő példát: egy ingatlanügynök személyes tapasztalatai és a piac ismerete alapján becsülheti meg egy ház árát.
Egy gép betanítható arra, hogy a szakértő tudását jellemzőkké alakítsa át. A jellemzők a ház, a környék, a gazdasági környezet stb. összes olyan jellemzője, amelyek az árat befolyásolják. A szakértő számára valószínűleg évekbe telt, mire elsajátította a ház árának becslésének művészetét, és a szakértelem minden eladás után javul.
A gép számára több millió adatpontra (azaz példára) van szükség ahhoz, hogy elsajátítsa ezt a művészetet. A tanulás legelején a gép hibákat követ el, hasonlóan egy fiatal értékesítőhöz. Miután a gép elegendő példát látott, elegendő tudással rendelkezik ahhoz, hogy becslést készítsen, és ezt nagy pontossággal tegye. A gép képes kijavítani a hibáit az új eladások érkezésekor is.
A legtöbb nagyvállalat megértette a gépi tanulás és az adattárolás értékét. A McKinsey Global Institute az összes analitikai technika éves értékét 9.5 és 15.4 billió dollár között becsülte, és ennek nagyjából 40 százalékát – mintegy 3.5 és 5.8 billió dollár között évente – a mély neurális hálózatokon alapuló fejlett mesterséges intelligencia technikáknak tulajdonította, amint azt a ... dokumentumban is kifejtették. Jegyzetek a mesterséges intelligencia határvidékéről kutatás.
Ahol a szabályok ismertek, de pontatlanok, nem pedig hiányoznak, szabályalapú megközelítés, mint például zavaros logika jobban illeszkedhet, mint egy tanult modell, ezért a két technikát gyakran összehasonlítják egy projekt megkezdése előtt.
