Machine Learning Tutorial för nybörjare: Vad är, grunderna i ML
Redaktionellt team
⚡ Smart sammanfattning
Maskininlärning är en familj av datoralgoritmer som förbättras från exempel istället för att vara explicit kodade, och kombinerar data med statistiska verktyg för att förutsäga resultat som människor kan omvandla till handlingsbara beslut.
Vad är maskininlärning?
Maskininlärning är ett system av datoralgoritmer som kan lära sig av exempel genom självförbättring, utan att uttryckligen kodas av en programmerare. Maskininlärning är en del av artificiell intelligens som kombinerar data med statistiska verktyg för att förutsäga ett resultat som kan användas för att skapa handlingsbara insikter.
Genombrottet kommer från idén att en maskin kan lära sig av data (dvs. exempel) på egen hand för att producera korrekta resultat. Maskininlärning är nära besläktad med data mining och Bayesiansk prediktiv modellering. Maskinen tar emot data som indata och använder en algoritm för att formulera svar.
En typisk maskininlärningsuppgift är att ge en rekommendation. För de som har en Netflix konto, alla rekommendationer av filmer eller serier baseras på användarens historiska data. Teknikföretag använder oövervakat lärande för att förbättra användarupplevelsen genom att anpassa rekommendationer.
Maskininlärning används också för en mängd olika uppgifter, såsom bedrägeriupptäckt, prediktivt underhåll, portföljoptimering och uppgiftsautomatisering.
Maskininlärning vs. traditionell programmering
Traditionell programmering skiljer sig avsevärt från maskininlärning. I traditionell programmering kodar en programmerare alla regler i samråd med en expert inom den bransch som programvaran utvecklas för. Varje regel är baserad på en logisk grund; maskinen producerar en utdata genom att följa den logiska satsen. När systemet blir komplext måste fler regler skrivas, och det kan snabbt bli ohållbart att underhålla. Diagrammet nedan visar det flödet, där data och handskrivna regler går in och svar kommer ut.
Maskininlärning är avsett att övervinna detta problem. Maskinen lär sig hur in- och utdata korrelerar, och den skriver själva regeln. Programmerare behöver inte skriva nya regler varje gång det finns ny data. Algoritmerna anpassar sig som svar på ny data och erfarenhet för att förbättra effektiviteten över tid. Det andra diagrammet inverterar det första: data och kända svar matas in, och regeln kommer ut.
Hur fungerar maskininlärning?
Med den kontrasten på plats är nästa fråga vad som faktiskt händer inuti inlärningssteget.
Maskininlärning är hjärnan där allt lärande sker. Sättet som maskinen lär sig påminner om hur en människa gör. Människor lär sig av erfarenhet: ju mer vi vet, desto lättare kan vi förutsäga. I analogi, när vi står inför en okänd situation, är sannolikheten för framgång lägre än i en känd situation. Maskiner tränas på samma sätt. För att göra en korrekt förutsägelse ser maskinen ett exempel. När vi ger maskinen ett liknande exempel kan den räkna ut resultatet. Men precis som en människa, om den matas med ett tidigare oset exempel, har maskinen svårt att förutsäga.
De centrala målen för maskininlärning är inlärning och inferens. Först och främst lär sig maskinen genom att upptäcka mönster, och den upptäckten möjliggörs av data. En avgörande del av dataforskarens jobb är att noggrant välja vilka data som ska tillhandahållas maskinen. Listan över attribut som används för att lösa ett problem kallas en funktion vektorDu kan tänka på en funktionsvektor som en delmängd av data som används för att lösa ett problem.
Maskinen använder algoritmer för att förenkla verkligheten och omvandla denna upptäckt till en modell. Inlärningsstadiet används därför för att beskriva data och sammanfatta dem till en modell, vilket illustreras nedan.
Till exempel försöker maskinen förstå sambandet mellan en individs lön och sannolikheten att gå till en fin restaurang. Det visar sig att maskinen finner ett positivt samband mellan lön och att gå till en exklusiv restaurang: detta är modellen.
Slutsats
När modellen är byggd är det möjligt att testa hur kraftfull den är på aldrig tidigare skådad data. Den nya datan omvandlas till en funktionsvektor, går igenom modellen och ger en förutsägelse. Detta är den värdefulla delen av maskininlärning. Det finns inget behov av att uppdatera reglerna eller träna modellen igen – du kan använda den tidigare tränade modellen för att dra en slutsats utifrån ny data, precis som diagrammet nedan visar.
Livslängden för ett maskininlärningsprogram är enkel och kan sammanfattas i följande punkter:
- Definiera en fråga
- Samla in data
- Visualisera data
- Tågalgoritm
- Testa algoritmen
- Samla in feedback
- Förfina algoritmen
- Gå igenom steg 4 till 7 tills resultaten är tillfredsställande
- Använd modellen för att göra en förutsägelse
När algoritmen väl blir bra på att dra de rätta slutsatserna tillämpar den den kunskapen på nya uppsättningar av data.
Maskininlärning Algorithms och var används de?
Diagrammet nedan grupperar de vanligaste algoritmerna efter vilken typ av uppgift de löser.
Maskininlärning kan grupperas i två breda inlärningsuppgifter: övervakas och oövervakadTvå ytterligare familjer sitter mellan och bortom dem – halvövervakat lärande, som blandar en liten märkt uppsättning med en stor omärkt, och förstärkning lärande, där en agent lär sig av belöningar snarare än av märkta svar.
Övervakad inlärning
En algoritm använder träningsdata och feedback från människor för att lära sig sambandet mellan givna indata och given utdata. Till exempel kan en utövare använda marknadsföringskostnader och väderprognoser som indata för att förutsäga försäljningen av burkar.
Du kan använda övervakad inlärning när utdatan är känd. Algoritmen kommer sedan att förutsäga utifrån nya data.
Det finns två kategorier av handledd inlärning:
- Klassificeringsuppgift
- Regressionsuppgift
Klassificering
Tänk dig att du vill förutsäga könet på en kund för en reklamfilm. Du börjar med att samla in data om längd, vikt, jobb, lön, varukorg och så vidare från din kunddatabas. Du känner till könet på var och en av dina kunder, och det kan bara vara man eller kvinna. Syftet med klassificeraren är att tilldela en sannolikhet för att vara man eller kvinna (dvs. etiketten) baserat på den information du har samlat in (dvs. egenskaperna). När modellen har lärt sig att känna igen man eller kvinna kan du använda ny data för att göra en förutsägelse. Till exempel har du precis fått ny information från en okänd kund, och du vill veta om kunden är man eller kvinna. Om klassificeraren förutsäger man = 70%, betyder det att algoritmen är 70% säker på att den här kunden är man och 30% säker på att kunden är kvinna.
Etiketten kan ha två eller fler klasser. Maskininlärningsexemplet ovan har bara två klasser, men om en klassificerare behöver förutsäga objekt kan den ha dussintals klasser (t.ex. glas, bord, skor – varje objekt representerar en klass).
Regression
När utdata är ett kontinuerligt värde är uppgiften en regression. Till exempel kan en finansanalytiker behöva prognostisera värdet på en aktie baserat på en rad funktioner som aktiekapital, tidigare aktieutveckling och makroekonomiska index. Systemet kommer att tränas att uppskatta aktiens pris med lägsta möjliga fel.
Tabellen nedan listar de övervakade algoritmer du oftast kommer att stöta på, och vilken uppgift var och en är lämpad för.
| Algoritm | BESKRIVNING | Typ |
|---|---|---|
| Linjär regression | Hittar ett sätt att korrelera varje funktion till utdata för att hjälpa till att förutsäga framtida värden. | Regression |
| Logistisk återgång | Utvidgning av linjär regression som används för klassificeringsuppgifter. Utdatavariabeln är binär (t.ex. endast svart eller vit) snarare än kontinuerlig (t.ex. en oändlig lista med potentiella färger) | Klassificering |
| Beslutsträd | Mycket tolkningsbar klassificerings- eller regressionsmodell som delar upp datafunktionsvärden i grenar vid beslutsnoder (t.ex. om en funktion är en färg, blir varje möjlig färg en ny gren) tills ett slutgiltigt beslutsutdata görs | Regression Klassificering |
| Naiva Bayes | Den Bayesianska metoden är en klassificeringsmetod som använder sig av Bayesianska satsen. Teoremet uppdaterar förkunskapen om en händelse med den oberoende sannolikheten för varje funktion som kan påverka händelsen. | Regression Klassificering |
| Stöd vektor maskin | Support Vector Machine, eller SVM, används vanligtvis för klassificeringsuppgiften. SVM-algoritmen hittar ett hyperplan som optimalt delar upp klasserna. Den används bäst med en icke-linjär lösare. | Regression (inte särskilt vanligt) Klassificering |
| Slumpmässig skog | Algoritmen är byggd på ett beslutsträd för att drastiskt förbättra noggrannheten. Slumpmässig skog genererar många enkla beslutsträd och använder metoden "majoritetsröstning" för att bestämma vilken etikett som ska returneras. För klassificeringsuppgiften kommer den slutliga förutsägelsen att vara den med flest röster; för regressionsuppgiften är den genomsnittliga förutsägelsen av alla träd den slutliga förutsägelsen. | Regression Klassificering |
| AdaBoost | Klassificerings- eller regressionsteknik som använder en mängd modeller för att komma fram till ett beslut men väger dem baserat på deras noggrannhet i att förutsäga resultatet | Regression Klassificering |
| Gradienthöjande träd | Gradientförstärkande träd är en toppmodern klassificerings-/regressionsteknik. Den fokuserar på felet som begåtts av de tidigare träden och försöker korrigera det. | Regression Klassificering |
Oövervakat lärande
Vid oövervakad inlärning utforskar en algoritm indata utan att ges en explicit utdatavariabel (t.ex. utforskar den kunders demografiska data för att identifiera mönster).
Du kan använda den när du inte vet hur du ska klassificera data och vill att algoritmen ska hitta mönster och gruppera data åt dig. De viktigaste oövervakade algoritmerna sammanfattas nedan.
| Algoritmnamn | BESKRIVNING | Typ |
|---|---|---|
| K-betyder kluster | Lägger in data i några grupper (k) som var och en innehåller data med liknande egenskaper (som bestäms av modellen, inte i förväg av människor) | Clusteranvändning |
| Gaussisk blandningsmodell | En generalisering av k-betyder klustring som ger mer flexibilitet i storleken och formen på grupper (kluster) | Clusteranvändning |
| Hierarkisk gruppering | Delar upp kluster längs ett hierarkiskt träd för att bilda ett klassificeringssystem. Kan användas för att klustra lojalitetskortskunder. | Clusteranvändning |
| Rekommendationssystem | Hjälper till att definiera relevant data för att ge en rekommendation. | Clusteranvändning |
| PCA/t-SNE | Används oftast för att minska dimensionaliteten hos datan. Algoritmerna minskar antalet funktioner till 3 eller 4 vektorer med de högsta varianserna. | Dimensionsreduktion |
Hur man väljer maskininlärningsalgoritm
Det finns gott om maskininlärningsalgoritmer, och valet av algoritm styrs av målet snarare än av mode.
I maskininlärningsexemplet nedan är uppgiften att förutsäga vilken typ av blomma det är bland tre sorter. Förutsägelserna baseras på kronbladets längd och bredd. Bilden visar resultaten av tio olika algoritmer. Bilden längst upp till vänster är själva datamängden, med data klassificerade i tre kategorier: röd, ljusblå och mörkblå. Vissa grupper ...pings är synliga. Till exempel, i den andra bilden tillhör allt i det övre vänstra hörnet den röda kategorin, den mellersta delen innehåller en blandning av osäkerhet och ljusblått, medan den nedre delen motsvarar den mörka kategorin. De andra bilderna visar hur olika algoritmer försöker klassificera samma data.
När en kandidat väl har valts ut bedöms dess kvalitet utifrån data den aldrig tidigare sett, vanligtvis med en förvirringsmatris och de noggrannhets-, precisions- och återkallelsesiffror som härrör från det.
Utmaningar och begränsningar för maskininlärning
Den primära utmaningen med maskininlärning är bristen på data, eller bristen på mångfald inom datamängden. En maskin kan inte lära sig om det inte finns data tillgänglig. En datamängd som saknar mångfald ger också maskinen det svårt, eftersom en maskin behöver heterogenitet för att lära sig en meningsfull insikt. Det är sällsynt att en algoritm kan ex...tracinformation när det inte finns några eller få variationer. En vanlig tumregel är att ha minst 20 observationer per grupp för att hjälpa maskininlärningen; under det blir både utvärdering och prediktion lidande.
Datavolymen är inte den enda begränsningen. Modeller som tränats på snedvridna historiska data reproducerar den snedvridningen, komplexa modeller är svåra att förklara för en tillsynsmyndighet eller en kund, och alla modeller försämras i takt med att världen den tränades på förändras.
Tillämpning av maskininlärning
Teknikerna ovan används redan inom de flesta branscher. Exemplen nedan rör sig från allmänt stöd till specifika sektorer.
Förstoring: Maskininlärning hjälper människor med deras dagliga uppgifter, personligen eller kommersiellt, utan att ha fullständig kontroll över resultatet. Sådan maskininlärning används på olika sätt, till exempel med virtuella assistenter, dataanalys och mjukvarulösningar. Det primära syftet är att minska fel orsakade av mänskliga fördomar.
Automation: Maskininlärning fungerar helt autonomt inom alla områden utan behov av mänsklig inblandning. Till exempel utför robotar de viktigaste processtegen i tillverkningsanläggningar.
Finansbranschen: Maskininlärning blir alltmer populärt inom finansbranschen. Banker använder främst maskininlärning för att hitta mönster i data, men också för att förhindra bedrägerier.
Statliga organisationer: Regeringar använder maskininlärning för att hantera allmän säkerhet och allmännyttiga tjänster. Ta Kina som exempel och dess storskaliga ansiktsigenkänningsprogram, där tillämpningar för artificiell intelligens används för att identifiera jaywalkers.
Sjukvårdsbranschen: Hälso- och sjukvården var en av de första branscherna som använde maskininlärning, med början inom bilddetektering.
Marketing: AI används i stor utsträckning inom marknadsföring tack vare den rikliga tillgången till data. Före massdataåldern utvecklade forskare avancerade matematiska verktyg som Bayesiansk analys för att uppskatta en kunds värde. Med databoomen förlitar sig marknadsavdelningar på AI för att optimera kundrelationer och marknadsföringskampanjer.
Exempel på maskininlärning i leveranskedjan
Maskininlärning ger starka resultat för visuell mönsterigenkänning, vilket öppnar upp för många potentiella tillämpningar inom fysisk inspektion och underhåll i hela leveranskedjans nätverk.
Oövervakad inlärning kan snabbt söka efter jämförbara mönster i en mångsidig datamängd. Maskinen kan i sin tur utföra kvalitetsinspektion i hela logistikcentret och flagga försändelser med skador och slitage.
Till exempel, IBMWatson-plattformen kan avgöra fartygetsping containerskador. Watson kombinerar visuell och systembaserad data för att track, rapportera och ge rekommendationer i realtid.
Tidigare förlitade sig lageransvariga i stor utsträckning på manuella metoder för att utvärdera och prognostisera lager. När stordata och maskininlärning kombineras blir bättre prognostekniker möjliga, med rapporterade förbättringar på 20 till 30 procent jämfört med traditionella prognosverktyg. När det gäller försäljning innebär det en ökning på 2 till 3 procent tack vare den potentiella minskningen av lagerkostnader.
Exempel på maskininlärning i Google Bil
Alla känner till Google bil. Bilen är täckt med lasrar på taket, som visar var den befinner sig i förhållande till omgivningen. Den har radar framtill, som informerar bilen om hastigheten och rörelsen hos alla bilar runt omkring den. Den använder all den informationen för att inte bara lista ut hur bilen ska köras utan också för att förutsäga vad förarna runt omkring den kommer att göra. Det som är imponerande är att bilen bearbetar nästan en gigabyte data per sekund.
Varför är maskininlärning viktigt?
Maskininlärning är det bästa verktyget hittills för att analysera, förstå och identifiera mönster i data. En av huvudidéerna bakom maskininlärning är att en dator kan tränas att automatisera uppgifter som skulle vara utmattande eller omöjliga för en människa. Det tydliga avbrottet från traditionell analys är att maskininlärning kan fatta beslut med minimal mänsklig intervention.
Ta följande exempel: en mäklare kan uppskatta priset på ett hus baserat på personlig erfarenhet och kunskap om marknaden.
En maskin kan tränas att översätta expertens kunskap till egenskaper. Egenskaperna är alla egenskaper hos ett hus, grannskapet, den ekonomiska miljön och så vidare som gör att priset skiljer sig åt. För experten tog det förmodligen år att bemästra konsten att uppskatta priset på ett hus, och expertisen förbättras efter varje försäljning.
För maskinen krävs det miljontals datapunkter (dvs. exempel) för att bemästra denna konst. Alldeles i början av sitt lärande gör maskinen misstag, ungefär som en juniorsäljare. När maskinen har sett tillräckligt med exempel har den tillräckligt med kunskap för att göra sin uppskattning, och för att göra det med hög noggrannhet. Maskinen kan också korrigera sina misstag när nya försäljningar anländer.
De flesta stora företag har förstått värdet av maskininlärning och av att lagra data. McKinsey Global Institute uppskattade det årliga värdet av alla analystekniker till 9.5 till 15.4 biljoner dollar och tillskrev ungefär 40 procent av detta – cirka 3.5 till 5.8 biljoner dollar per år – till avancerade AI-tekniker baserade på djupa neurala nätverk, enligt vad som anges i dess Anteckningar från AI-gränsen forskning.
Där regler är kända men oprecisa snarare än frånvarande, kan en regelbaserad metod som rolig logik kan passa bättre än en inlärd modell, så de två teknikerna jämförs ofta innan ett projekt startar.
