Deep Learning-tutorial voor beginners: basisprincipes van neurale netwerken
Evelien Clarke
⚡ Slimme samenvatting
Deep learning is een tak van machinaal leren die is gebaseerd op kunstmatige neurale netwerken met veel verborgen lagen, waardoor elke laag een rijkere eigenschap van de data leert dan de laag ervoor.
Wat is diep leren?
Deep learning is computersoftware die het netwerk van neuronen in een brein nabootst. Het is een onderdeel van... machine learning gebaseerd op kunstmatige neurale netwerken met representatieleer. Het wordt deep learning genoemd omdat het gebruikmaakt van diepe neurale netwerken. Dit leerproces kan toezicht, semi-begeleid of ongecontroleerd.
Algoritmen voor deep learning zijn opgebouwd uit verbonden lagen, zoals het onderstaande diagram laat zien.
- De eerste laag wordt de invoerlaag genoemd
- De laatste laag wordt de uitvoerlaag genoemd
- Alle tussenliggende lagen worden verborgen lagen genoemd. Het woord 'diep' betekent dat het netwerk neuronen over meer dan twee lagen met elkaar verbindt.
Elke verborgen laag bestaat uit neuronen. De neuronen zijn met elkaar verbonden. Een neuron verwerkt het ingangssignaal dat het ontvangt en stuurt het resultaat vervolgens door naar de laag erboven. De sterkte van het signaal dat naar een neuron in de volgende laag wordt doorgegeven, hangt af van het gewicht, de bias en de activeringsfunctie.
Het netwerk verwerkt grote hoeveelheden invoergegevens en voert bewerkingen uit via meerdere lagen, waardoor het netwerk in elke laag steeds complexere kenmerken van de gegevens kan leren.
Diep leerproces
Een diep neuraal netwerk levert state-of-the-art nauwkeurigheid bij veel taken, van objectdetectie tot spraakherkenning. Zulke netwerken kunnen automatisch leren, zonder dat er vooraf expliciet door programmeurs kennis hoeft te worden vastgelegd. In de praktijk doorloopt een deep learning-project vijf fasen:
- Begrijp het probleem
- Identificeer de gegevens
- Selecteer een deep learning-algoritme
- Train het model
- Test het model
Om het concept van diepgaand leren te begrijpen, stel je een gezin voor met een baby en zijn ouders. De peuter wijst met zijn pink naar voorwerpen en zegt steeds 'kat'. Omdat zijn ouders zich zorgen maken over zijn ontwikkeling, blijven ze zeggen: 'Ja, dat is een kat' of 'Nee, dat is geen kat'. De baby blijft naar voorwerpen wijzen, maar wordt steeds nauwkeuriger met 'katten'. Diep van binnen weet het kind niet waarom hij wel of niet kan zeggen dat iets een kat is. Hij heeft simpelweg geleerd om de kenmerken van een kat in een hiërarchie te ordenen, eerst naar het dier als geheel te kijken en vervolgens te focussen op details zoals de staart of de neus, voordat hij een oordeel velt.
Een neuraal netwerk werkt op vrijwel dezelfde manier. Elke laag vertegenwoordigt een dieper niveau van kennis, oftewel een kennishiërarchie. Een neuraal netwerk met vier lagen leert complexere kenmerken dan een netwerk met twee lagen.
Het leren vindt plaats in twee fasen:
- Eerste fase: Het toepassen van een niet-lineaire transformatie op de invoer en het creëren van een statistisch model als uitvoer.
- Tweede fase: het model verbeteren met een wiskundige methode gebaseerd op afgeleiden, dat is hoe terugvermeerdering past de gewichten aan.
Het neurale netwerk herhaalt deze twee fasen honderden tot duizenden keren totdat het een aanvaardbaar nauwkeurigheidsniveau heeft bereikt. Elke herhaling van de twee fasen wordt een iteratie genoemd.
Om een voorbeeld van deep learning te geven, bekijk de onderstaande animatie, waarin het model probeert te leren dansen. Na 10 minuten training weet het model nog steeds niet hoe te dansen en ziet de output eruit als een krabbel.
Na 48 uur oefenen beheerst de computer de kunst van het dansen, zoals de tweede animatie laat zien.
Classificatie van neurale netwerken
Netwerken worden eerst gegroepeerd op basis van het aantal verborgen lagen.
Ondiep neuraal netwerk: Het ondiepe neurale netwerk heeft slechts één verborgen laag tussen de invoer en de uitvoer.
Diep neuraal netwerk: Diepe neurale netwerken hebben meer dan één verborgen laag. Het GoogLeNet-model voor beeldherkenning telt bijvoorbeeld 22 lagen.
Tegenwoordig duiken we op in zelfrijdende auto's, mobiele telefoons, enzovoort. Google zoekmachine, fraudedetectie en televisie.
Soorten deep learning-netwerken
Er zijn verschillende architecturen standaard geworden, elk gevormd door het type data dat ze verwerken. De onderstaande grafiek, gepubliceerd door het Asimov Institute, brengt de bredere familie in kaart.
Feed-forward neurale netwerken
Dit is het eenvoudigste type kunstmatig neuraal netwerk. Bij dit type architectuur stroomt informatie slechts in één richting, voorwaarts. Dit betekent dat de informatiestroom begint bij de invoerlaag, naar de "verborgen" lagen gaat en eindigt bij de uitvoerlaag. Het netwerk heeft geen lussen en de informatiestroom stopt bij de uitvoerlaag.
Terugkerende neurale netwerken (RNN's)
An RNN Een RNN is een meerlaags neuraal netwerk dat informatie kan opslaan in contextknooppunten, waardoor het datareeksen kan leren en een getal of een andere reeks als uitvoer kan geven. Simpel gezegd is het een kunstmatig neuraal netwerk waarvan de verbindingen tussen neuronen lussen bevatten. RNN's zijn zeer geschikt voor het verwerken van reeksen invoer, omdat de uitvoer als geheugen teruggekoppeld wordt naar het netwerk.
Als de taak bijvoorbeeld is om het volgende woord in de zin "Wil je een …?" te voorspellen, gaat het netwerk als volgt te werk:
- De RNN-neuronen ontvangen een signaal dat het begin van de zin aangeeft.
- Het netwerk ontvangt het woord "Do" als input en produceert een vector van getallen. Deze vector wordt teruggekoppeld naar de neuron om het netwerk een geheugen te geven. Deze fase helpt het netwerk te onthouden dat het "Do" heeft ontvangen en dat het dit woord op de eerste positie heeft ontvangen.
- Het netwerk gaat op dezelfde manier verder met de volgende woorden. Het neemt het woord "jij" en vervolgens "willen". De toestand van de neuronen wordt bijgewerkt bij ontvangst van elk woord.
- De laatste fase vindt plaats na het ontvangen van het woord "een". Het neurale netwerk kent een waarschijnlijkheid toe aan elk Engels woord dat de zin zou kunnen voltooien. Een goed getraind RNN zal waarschijnlijk een hoge waarschijnlijkheid toekennen aan woorden als "café", "drink", "burger" en soortgelijke woorden.
Veelvoorkomend gebruik van RNN
- Help effectenhandelaren analytische rapporten te genereren
- Onregelmatigheden in financiële overzichten opsporen
- Detecteer frauduleuze creditcardtransacties
- Geef een bijschrift voor afbeeldingen
- Power chatbots
- RNN's worden standaard gebruikt wanneer professionals werken met tijdreeksgegevens of -sequenties, bijvoorbeeld audio-opnamen of tekst.
Convolutionele neurale netwerken (CNN)
A CNN is een meerlaags neuraal netwerk met een unieke architectuur, ontworpen om te excelleren.tracDe steeds complexere kenmerken van de data in elke laag worden gebruikt om de uitvoer te bepalen. CNN's zijn zeer geschikt voor perceptuele taken.
CNN wordt vooral gebruikt bij ongestructureerde datasets, zoals afbeeldingen, en wanneer gebruikers deze dataset moeten analyseren.tract informatie daaruit.
Als het bijvoorbeeld de taak is om een onderschrift bij een afbeelding te voorspellen:
- Het CNN ontvangt een afbeelding van, laten we zeggen, een kat. In computertermen is deze afbeelding een verzameling pixels, over het algemeen één laag voor een grijsschaalafbeelding en drie lagen voor een kleurenafbeelding.
- Tijdens de fase van het leren van kenmerken, oftewel de verborgen lagen, identificeert het netwerk unieke kenmerken, bijvoorbeeld de staart van de kat of het oor.
- Zodra het netwerk een afbeelding grondig heeft leren herkennen, kan het een waarschijnlijkheid toekennen aan elke afbeeldingscategorie die het kent. Het label met de hoogste waarschijnlijkheid wordt de voorspelling van het netwerk.
Versterking leren
Versterking leren Het is een subgebied van machinaal leren waarbij systemen worden getraind door virtuele "beloningen" of "straffen" te ontvangen, in wezen door middel van vallen en opstaan. Het is een leerparadigma in plaats van een netwerkstructuur, maar de moderne algoritmen zijn gebouwd op diepe netwerken. GoogleDeepMind gebruikte versterkingsleren om een menselijke kampioen in Go te verslaan. Versterkingsleren wordt ook gebruikt in videogames om de spelervaring te verbeteren door slimmere bots te creëren.
Enkele van de bekendste algoritmen zijn:
- Q-leren
- Deep Q-netwerk
- Staatsactie-beloning-staatsactie (SARSA)
- Diepe deterministische beleidsgradiënt (DDPG)
De onderstaande tabel geeft een overzicht van wanneer elke architectuur geschikt is.
| Architectuur | Gegevens die erbij passen | Onderscheidend kenmerk | Typische taak |
|---|---|---|---|
| Feedforward | Tabelinvoer met vaste lengte | Geen lussen; informatie beweegt alleen vooruit. | Scoreberekening en eenvoudige classificatie |
| Recurrente (RNN) | Reeksen en tijdreeksen | Contextknooppunten geven het geheugen. | Tekstvoorspelling, audio, prognoses |
| Convolutioneel neuraal netwerk (CNN) | Rasterachtige ongestructureerde gegevens | Convolutie en pooling extract-functies | Beeldclassificatie en -onderschrift |
| Versterking leren | Een omgeving, geen dataset. | Leert door beloningen en straffen. | Spelagenten, robotica, controle |
Voorbeelden van toepassingen van deep learning
Deze architecturen worden al in zeer uiteenlopende sectoren toegepast:
AI in Financiën
De financiële technologiesector is al begonnen met het gebruik van AI om tijd te besparen, kosten te verlagen en waarde toe te voegen. Deep learning verandert de kredietverleningssector door middel van robuustere kredietscores. Kredietbeoordelaars kunnen AI gebruiken voor kredietaanvragen om sneller en nauwkeuriger risico's in te schatten, waarbij machine-intelligentie rekening houdt met het karakter en de capaciteit van aanvragers.
Underwrite is een fintechbedrijf dat een AI-oplossing biedt voor kredietbeslissers. Underwrite.ai gebruikt AI om te bepalen welke aanvrager de grootste kans heeft om een lening terug te betalen, een aanpak die volgens het bedrijf beter presteert dan traditionele scorekaarten.
AI in HR
Under Armour, een sportkledingbedrijf, revolutUnder Armour heeft het wervingsproces geïoniseerd en de kandidaatervaring gemoderniseerd met behulp van AI. In 2012 zag Under Armour een enorme toename in interesse en ontving het bedrijf gemiddeld meer dan 30,000 sollicitaties per maand. Het lezen van al die sollicitaties en vervolgens het screenen en interviewen duurde te lang. Het langdurige proces om mensen aan te nemen en in te werken, belemmerde Under Armour bij het volledig bemensen en operationeel voorbereiden van de winkels.
Under Armour beschikte destijds over alle 'must-have' HR-technologie, zoals transactionele oplossingen voor werving en selectie, sollicitaties, tracUnder Armour had al tools voor het werven van nieuwe medewerkers en het inwerken van nieuwe medewerkers, maar die waren op zichzelf niet voldoende. Daarom koos Under Armour voor HireVue, een AI-aanbieder van HR-oplossingen, voor zowel sollicitatiegesprekken op aanvraag als live interviews. De resultaten waren opvallend: het bedrijf meldde een verkorting van de wervingstijd met 35% en een verbetering van de kwaliteit van het aangenomen personeel.
AI in marketing
AI is een waardevol hulpmiddel voor het beheer van klantenservice en het personaliseren van klantervaringen. Verbeterde spraakherkenning in callcentermanagement en gespreksroutering, dankzij de toepassing van AI-technieken, zorgt voor een soepelere ervaring voor klanten.
Zo stelt deep learning-analyse van audio systemen bijvoorbeeld in staat om de emotionele toon van een klant te beoordelen. Als de klant negatief reageert op de AI-chatbot, kan het systeem het gesprek doorverwijzen naar een echte medewerker die het probleem overneemt.
Naast de drie hierboven genoemde voorbeelden van deep learning, wordt AI ook op grote schaal gebruikt in andere sectoren en industrieën.
Waarom is diep leren belangrijk?
Deep learning is een krachtig instrument om voorspellingen om te zetten in bruikbare resultaten. Deep learning blinkt uit in het ontdekken van patronen en het doen van kennisgestuurde voorspellingen. Big data is de brandstof voor diepgaand leren. Wanneer beide worden gecombineerd, kan een organisatie resultaten behalen op het gebied van productiviteit, verkoop, management en innovatie die voorheen onbereikbaar waren.
Deep learning kan ook betere resultaten opleveren dan traditionele methoden. Met name bij perceptieproblemen presteren deep learning-netwerken al jaren het beste: beeldclassificatie, spraakherkenning en gezichtsherkenning worden allemaal gedomineerd door deep learning-architecturen, waarbij gezichtsherkenningsmodellen een nauwkeurigheid van bijna 99% behalen op standaard openbare benchmarks. Deze winst komt doordat het netwerk zijn eigen kenmerken leert in plaats van te vertrouwen op handmatig ontworpen kenmerken.
Beperkingen van diep leren
Die resultaten brengen wel degelijk kosten met zich mee.
Gegevensetikettering
De meeste huidige AI-modellen worden getraind via supervised learning. Dit betekent dat mensen de onderliggende data moeten labelen en categoriseren, wat een omvangrijke en foutgevoelige taak kan zijn. Bedrijven ontwikkelen bijvoorbeeld...ping Voor de ontwikkeling van zelfrijdende auto's worden honderden mensen ingezet om handmatig urenlange videobeelden van prototypevoertuigen te annoteren, zodat deze systemen getraind kunnen worden.
Verkrijg enorme trainingsdatasets
Het is aangetoond dat deep learning-technieken zoals CNN in sommige gevallen de kennis van experts in de geneeskunde en andere vakgebieden kunnen nabootsen. Deze golf van machine learning vereist echter trainingsdatasets die niet alleen gelabeld zijn, maar ook voldoende breed en universeel zijn.
Voor deep learning-methoden zijn duizenden observaties nodig om modellen relatief goed te laten presteren bij classificatietaken, en in sommige gevallen zelfs miljoenen om het niveau van mensen te bereiken. Het is dan ook niet verwonderlijk dat deep learning het meest voorkomt bij grote technologiebedrijven, die big data gebruiken om petabytes aan voorbeelden te verzamelen. Deze schaal stelt hen in staat indrukwekkende en zeer nauwkeurige deep learning-modellen te creëren.
Leg een probleem uit
Grote en complexe modellen zijn vaak moeilijk in menselijke termen uit te leggen, bijvoorbeeld waarom een bepaalde beslissing is genomen. Dat is een van de redenen waarom sommige modellen moeilijk te accepteren zijn. kunstmatige intelligentie De tools presteren traag in toepassingsgebieden waar interpreteerbaarheid nuttig of zelfs vereist is.
Bovendien kunnen, naarmate de toepassing van AI zich uitbreidt, ook de eisen van regelgeving de behoefte aan beter verklaarbare AI-modellen vergroten.
