Εκμάθηση βαθιάς μάθησης για αρχάριους: Βασικές αρχές νευρωνικών δικτύων
Έβελιν Κλαρκ
⚡ Έξυπνη Σύνοψη
Η Βαθιά Μάθηση είναι ένας κλάδος της μηχανικής μάθησης που βασίζεται σε τεχνητά νευρωνικά δίκτυα που στοιβάζουν πολλά κρυφά επίπεδα, έτσι ώστε κάθε επίπεδο να μαθαίνει ένα πλουσιότερο χαρακτηριστικό των δεδομένων από το προηγούμενο επίπεδο.
Τι είναι το Deep Learning;
Η Βαθιά Μάθηση είναι λογισμικό υπολογιστή που μιμείται το δίκτυο νευρώνων σε έναν εγκέφαλο. Είναι ένα υποσύνολο μάθηση μηχανής βασισμένο σε τεχνητά νευρωνικά δίκτυα με αναπαραστατική μάθηση. Ονομάζεται βαθιά μάθηση επειδή χρησιμοποιεί βαθιά νευρωνικά δίκτυα. Αυτή η μάθηση μπορεί να είναι εποπτεία, ημι-εποπτευόμενο ή χωρίς επίβλεψη.
Οι αλγόριθμοι βαθιάς μάθησης κατασκευάζονται με συνδεδεμένα επίπεδα, όπως φαίνεται στο παρακάτω διάγραμμα.
- Το πρώτο επίπεδο ονομάζεται επίπεδο εισόδου
- Το τελευταίο επίπεδο ονομάζεται Επίπεδο Εξόδου
- Όλα τα ενδιάμεσα επίπεδα ονομάζονται Κρυφά Επίπεδα. Η λέξη βαθιά σημαίνει ότι το δίκτυο ενώνει νευρώνες σε περισσότερα από δύο επίπεδα.
Κάθε κρυφό επίπεδο αποτελείται από νευρώνες. Οι νευρώνες συνδέονται μεταξύ τους. Ένας νευρώνας επεξεργάζεται το σήμα εισόδου που λαμβάνει και στη συνέχεια διαδίδει το αποτέλεσμα στο επίπεδο που βρίσκεται από πάνω του. Η ισχύς του σήματος που μεταδίδεται σε έναν νευρώνα στο επόμενο επίπεδο εξαρτάται από το βάρος, την πόλωση και τη συνάρτηση ενεργοποίησης.
Το δίκτυο καταναλώνει μεγάλες ποσότητες δεδομένων εισόδου και λειτουργεί με βάση αυτά μέσω πολλαπλών επιπέδων, έτσι ώστε το δίκτυο να μπορεί να μαθαίνει ολοένα και πιο σύνθετα χαρακτηριστικά των δεδομένων σε κάθε επίπεδο.
Διαδικασία βαθιάς μάθησης
Ένα βαθύ νευρωνικό δίκτυο παρέχει ακρίβεια αιχμής σε πολλές εργασίες, από την ανίχνευση αντικειμένων έως την αναγνώριση ομιλίας. Τέτοια δίκτυα μπορούν να μαθαίνουν αυτόματα, χωρίς προκαθορισμένη γνώση που έχει κωδικοποιηθεί ρητά από τους προγραμματιστές. Στην πράξη, ένα έργο βαθιάς μάθησης περνάει από πέντε στάδια:
- Κατανοήστε το πρόβλημα
- Προσδιορίστε τα δεδομένα
- Επιλέξτε έναν αλγόριθμο βαθιάς μάθησης
- Εκπαιδεύστε το μοντέλο
- Δοκιμάστε το μοντέλο
Για να κατανοήσετε την ιδέα της βαθιάς μάθησης, φανταστείτε μια οικογένεια με ένα βρέφος και τους γονείς του. Το νήπιο δείχνει αντικείμενα με το μικρό του δάχτυλο και λέει πάντα τη λέξη «γάτα». Καθώς οι γονείς του ανησυχούν για την εκπαίδευσή του, του λένε συνεχώς «Ναι, αυτή είναι γάτα» ή «Όχι, αυτή δεν είναι γάτα». Το βρέφος επιμένει να δείχνει αντικείμενα, αλλά γίνεται πιο ακριβές με τις «γάτες». Το μικρό παιδί, βαθιά μέσα του, δεν ξέρει γιατί μπορεί να πει ότι είναι γάτα ή όχι. Απλώς έχει μάθει να οργανώνει τα χαρακτηριστικά που αποτελούν μια γάτα σε μια ιεραρχία, κοιτάζοντας το κατοικίδιο συνολικά και στη συνέχεια εστιάζοντας σε λεπτομέρειες όπως η ουρά ή η μύτη πριν πάρει απόφαση.
Ένα νευρωνικό δίκτυο λειτουργεί με τον ίδιο τρόπο. Κάθε επίπεδο αντιπροσωπεύει ένα βαθύτερο επίπεδο γνώσης, δηλαδή μια ιεραρχία γνώσης. Ένα νευρωνικό δίκτυο με τέσσερα επίπεδα θα μάθει πιο σύνθετα χαρακτηριστικά από ένα με δύο επίπεδα.
Η μάθηση γίνεται σε δύο φάσεις:
- Πρώτη φάση: εφαρμόζοντας έναν μη γραμμικό μετασχηματισμό της εισόδου και δημιουργώντας ένα στατιστικό μοντέλο ως έξοδο.
- Δεύτερη φάση: βελτιώνοντας το μοντέλο με μια μαθηματική μέθοδο που βασίζεται σε παράγωγους, η οποία είναι ο τρόπος οπίσθιο πολλαπλασιασμό ρυθμίζει τα βάρη.
Το νευρωνικό δίκτυο επαναλαμβάνει αυτές τις δύο φάσεις εκατοντάδες έως χιλιάδες φορές μέχρι να φτάσει σε ένα ανεκτό επίπεδο ακρίβειας. Κάθε επανάληψη των δύο φάσεων ονομάζεται επανάληψη.
Για να δώσετε ένα παράδειγμα βαθιάς μάθησης, ρίξτε μια ματιά στην παρακάτω κινούμενη εικόνα, στην οποία το μοντέλο προσπαθεί να μάθει πώς να χορεύει. Μετά από 10 λεπτά εκπαίδευσης, το μοντέλο δεν ξέρει πώς να χορεύει και το αποτέλεσμα μοιάζει με μουτζούρα.
Μετά από 48 ώρες μάθησης, ο υπολογιστής κατακτά την τέχνη του χορού, όπως δείχνει η δεύτερη κινούμενη εικόνα.
Ταξινόμηση Νευρωνικών Δικτύων
Τα δίκτυα ομαδοποιούνται πρώτα με βάση τον αριθμό των κρυφών επιπέδων.
Ρηχό νευρωνικό δίκτυο: Το ρηχό νευρωνικό δίκτυο έχει μόνο ένα κρυφό επίπεδο μεταξύ της εισόδου και της εξόδου.
Βαθύ νευρωνικό δίκτυο: Τα βαθιά νευρωνικά δίκτυα έχουν περισσότερα από ένα κρυφά επίπεδα. Για παράδειγμα, το μοντέλο GoogLeNet για την αναγνώριση εικόνας αριθμεί 22 επίπεδα.
Σήμερα, η βαθιά μάθηση εμφανίζεται σε αυτοκίνητα χωρίς οδηγό, κινητά τηλέφωνα, Google μηχανές αναζήτησης, ανίχνευση απάτης και τηλεόραση.
Τύποι δικτύων βαθιάς μάθησης
Αρκετές αρχιτεκτονικές έχουν γίνει τυποποιημένες, καθεμία από τις οποίες διαμορφώνεται από το είδος των δεδομένων που χειρίζεται. Το παρακάτω διάγραμμα, που δημοσιεύτηκε από το Ινστιτούτο Asimov, χαρτογραφεί την ευρύτερη οικογένεια.
Νευρωνικά δίκτυα τροφοδοσίας
Αυτός είναι ο απλούστερος τύπος τεχνητού νευρωνικού δικτύου. Με αυτόν τον τύπο αρχιτεκτονικής, οι πληροφορίες ρέουν μόνο προς μία κατεύθυνση, προς τα εμπρός. Αυτό σημαίνει ότι η ροή πληροφοριών ξεκινά από το επίπεδο εισόδου, πηγαίνει στα «κρυφά» επίπεδα και καταλήγει στο επίπεδο εξόδου. Το δίκτυο δεν έχει βρόχο και οι πληροφορίες σταματούν στο επίπεδο εξόδου.
Επαναλαμβανόμενα νευρωνικά δίκτυα (RNN)
An RNN είναι ένα πολυεπίπεδο νευρωνικό δίκτυο που μπορεί να αποθηκεύει πληροφορίες σε κόμβους περιβάλλοντος, επιτρέποντάς του να μαθαίνει ακολουθίες δεδομένων και να εξάγει έναν αριθμό ή μια άλλη ακολουθία. Με απλά λόγια, είναι ένα τεχνητό νευρωνικό δίκτυο του οποίου οι συνδέσεις μεταξύ νευρώνων περιλαμβάνουν βρόχους. Τα RNN είναι κατάλληλα για την επεξεργασία ακολουθιών εισόδου, επειδή η έξοδος ανατροφοδοτείται στο δίκτυο ως μνήμη.
Για παράδειγμα, αν η εργασία είναι να προβλέψετε την επόμενη λέξη στην πρόταση «Θέλεις ένα …;», το δίκτυο προχωρά ως εξής:
- Οι νευρώνες RNN λαμβάνουν ένα σήμα που δείχνει στην αρχή της πρότασης.
- Το δίκτυο λαμβάνει τη λέξη «Do» ως είσοδο και παράγει ένα διάνυσμα αριθμών. Αυτό το διάνυσμα ανατροφοδοτεί τον νευρώνα για να παρέχει μια μνήμη στο δίκτυο. Αυτό το στάδιο βοηθά το δίκτυο να θυμάται ότι έλαβε το «Do» και ότι το έλαβε στην πρώτη θέση.
- Το δίκτυο προχωρά παρόμοια με τις επόμενες λέξεις. Παίρνει τη λέξη «εσύ» και στη συνέχεια τη λέξη «θέλω». Η κατάσταση των νευρώνων ενημερώνεται με τη λήψη κάθε λέξης.
- Το τελικό στάδιο λαμβάνει χώρα μετά τη λήψη της λέξης «a». Το νευρωνικό δίκτυο παρέχει μια πιθανότητα για κάθε αγγλική λέξη που θα μπορούσε να ολοκληρώσει την πρόταση. Ένα καλά εκπαιδευμένο RNN πιθανώς αποδίδει υψηλή πιθανότητα στις λέξεις «café», «drink», «burger» και παρόμοιες.
Κοινές χρήσεις του RNN
- Βοηθήστε τους εμπόρους κινητών αξιών να δημιουργήσουν αναλυτικές αναφορές
- Εντοπίστε ανωμαλίες στις οικονομικές καταστάσεις
- Εντοπίστε δόλιες συναλλαγές με πιστωτικές κάρτες
- Δώστε μια λεζάντα για τις εικόνες
- Power chatbots
- Οι τυπικές χρήσεις των RNN εμφανίζονται όταν οι επαγγελματίες εργάζονται με δεδομένα ή ακολουθίες χρονοσειρών, για παράδειγμα ηχογραφήσεις ή κείμενο.
Συγκροτήματα νευρωνικά δίκτυα (CNN)
A CNN είναι ένα πολυεπίπεδο νευρωνικό δίκτυο με μοναδική αρχιτεκτονική σχεδιασμένη να λειτουργείtract ολοένα και πιο πολύπλοκα χαρακτηριστικά των δεδομένων σε κάθε επίπεδο για τον προσδιορισμό της εξόδου. Τα CNN είναι ιδανικά για αντιληπτικές εργασίες.
Το CNN χρησιμοποιείται κυρίως όταν υπάρχει ένα μη δομημένο σύνολο δεδομένων, όπως εικόνες, και οι επαγγελματίες πρέπει να το αναλύσουν.tracπληροφορίες από αυτό.
Για παράδειγμα, εάν η εργασία είναι να προβλέψετε μια λεζάντα εικόνας:
- Το CNN λαμβάνει μια εικόνα, ας πούμε, μιας γάτας. Σε όρους πληροφορικής, αυτή η εικόνα είναι μια συλλογή από pixel, γενικά μία στρώση για μια εικόνα σε κλίμακα του γκρι και τρεις στρώσεις για μια έγχρωμη εικόνα.
- Κατά το στάδιο εκμάθησης χαρακτηριστικών, δηλαδή των κρυφών επιπέδων, το δίκτυο αναγνωρίζει μοναδικά χαρακτηριστικά, για παράδειγμα την ουρά της γάτας ή το αυτί.
- Μόλις το δίκτυο μάθει πλήρως πώς να αναγνωρίζει μια εικόνα, μπορεί να παρέχει μια πιθανότητα για κάθε κατηγορία εικόνας που γνωρίζει. Η ετικέτα με την υψηλότερη πιθανότητα γίνεται η πρόβλεψη του δικτύου.
Μάθηση Ενίσχυσης
Ενίσχυση μάθησης είναι ένας υποτομέας της μηχανικής μάθησης στον οποίο τα συστήματα εκπαιδεύονται λαμβάνοντας εικονικές «ανταμοιβές» ή «τιμωρίες», ουσιαστικά μαθαίνοντας μέσω δοκιμής και λάθους. Είναι ένα παράδειγμα μάθησης και όχι ένα σχήμα δικτύου, αλλά οι σύγχρονοι αλγόριθμοί του βασίζονται σε βαθιά δίκτυα. GoogleΤο DeepMind του χρησιμοποίησε ενισχυτική μάθηση για να νικήσει έναν ανθρώπινο πρωταθλητή στο Go. Η ενισχυτική μάθηση χρησιμοποιείται επίσης σε βιντεοπαιχνίδια για τη βελτίωση της εμπειρίας παιχνιδιού παρέχοντας πιο έξυπνα bots.
Μερικοί από τους πιο γνωστούς αλγόριθμους είναι:
- Q-μάθηση
- Δίκτυο Deep Q
- State-Action-Reward-State-Action (SARSA)
- Deep Deterministic Policy Gradient (DDPG)
Ο παρακάτω πίνακας συνοψίζει πότε ταιριάζει κάθε αρχιτεκτονική.
| Archiδομή | Δεδομένα που ταιριάζουν | Διακριτικό χαρακτηριστικό | Τυπική εργασία |
|---|---|---|---|
| Feed-forward | Είσοδος πίνακα σταθερού μήκους | Δεν υπάρχουν βρόχοι· οι πληροφορίες προχωρούν μόνο προς τα εμπρός | Βαθμολογία και απλή ταξινόμηση |
| Επαναλαμβανόμενη (RNN) | Ακολουθίες και χρονοσειρές | Οι κόμβοι περιβάλλοντος του δίνουν μνήμη | Πρόβλεψη κειμένου, ήχος, πρόβλεψη |
| Συνελικτική (CNN) | Μη δομημένα δεδομένα τύπου πλέγματος | Συνέλιξη και συγκέντρωση extracχαρακτηριστικά t | Ταξινόμηση εικόνων και λεζάντες |
| Ενίσχυση μάθησης | Ένα περιβάλλον, όχι ένα σύνολο δεδομένων | Μαθαίνει από τις ανταμοιβές και τις τιμωρίες | Πράκτορες παιχνιδιών, ρομποτική, έλεγχος |
Παραδείγματα Εφαρμογών Βαθιάς Μάθησης
Αυτές οι αρχιτεκτονικές βρίσκονται ήδη σε παραγωγή σε πολύ διαφορετικούς κλάδους:
AI στα Οικονομικά
Ο τομέας της χρηματοοικονομικής τεχνολογίας έχει ήδη αρχίσει να χρησιμοποιεί την Τεχνητή Νοημοσύνη (ΤΝ) για εξοικονόμηση χρόνου, μείωση κόστους και προσθήκη αξίας. Η βαθιά μάθηση αλλάζει τον κλάδο των δανείων μέσω πιο ισχυρής πιστοληπτικής αξιολόγησης. Οι υπεύθυνοι λήψης αποφάσεων για την πίστωση μπορούν να χρησιμοποιήσουν την ΤΝ για αιτήσεις δανειοδότησης, ώστε να επιτύχουν ταχύτερη και ακριβέστερη αξιολόγηση κινδύνου, χρησιμοποιώντας μηχανική νοημοσύνη για να λάβουν υπόψη τον χαρακτήρα και την ικανότητα των αιτούντων.
Η Underwrite είναι μια εταιρεία fintech που παρέχει λύσεις τεχνητής νοημοσύνης για τους υπεύθυνους λήψης αποφάσεων σε θέματα πίστωσης. Η underwrite.ai χρησιμοποιεί τεχνητή νοημοσύνη για να ανιχνεύσει ποιος αιτών είναι πιο πιθανό να αποπληρώσει ένα δάνειο, μια προσέγγιση που η εταιρεία λέει ότι ξεπερνά τα παραδοσιακά scorecards.
AI στο HR
Η Under Armour, μια εταιρεία αθλητικών ειδών, revolutιονοποίησε τις προσλήψεις και εκσυγχρόνισε την εμπειρία των υποψηφίων με τη βοήθεια της Τεχνητής Νοημοσύνης. Η Under Armour αντιμετώπισε μια αύξηση ενδιαφέροντος το 2012 και λάμβανε, κατά μέσο όρο, περισσότερες από 30,000 αιτήσεις το μήνα. Η ανάγνωση όλων αυτών των αιτήσεων και στη συνέχεια η έναρξη της διαδικασίας επιλογής και συνέντευξης διαρκούσε πολύ. Η χρονοβόρα διαδικασία πρόσληψης και ένταξης των ατόμων επηρέασε την ικανότητα της Under Armour να έχει τα καταστήματά της πλήρως στελεχωμένα, αναβαθμισμένα και έτοιμα για λειτουργία.
Εκείνη την εποχή, η Under Armour διέθετε όλη την απαραίτητη τεχνολογία HR, όπως λύσεις συναλλαγών για την προμήθεια, την υποβολή αιτήσεων, tracβασιλιάς και ένταξη, αλλά αυτά τα εργαλεία δεν ήταν αρκετά από μόνα τους. Η Under Armour επέλεξε την HireVue, έναν πάροχο λύσεων HR με τεχνητή νοημοσύνη, τόσο για συνεντεύξεις κατ' απαίτηση όσο και για ζωντανές συνεντεύξεις. Τα αποτελέσματα ήταν εντυπωσιακά: η εταιρεία ανέφερε μείωση του χρόνου πλήρωσης θέσεων εργασίας κατά 35%, ενώ παράλληλα αύξησε την ποιότητα του προσωπικού που προσέλαβε.
AI στο μάρκετινγκ
Η Τεχνητή Νοημοσύνη (ΤΝ) είναι ένα πολύτιμο εργαλείο για τη διαχείριση της εξυπηρέτησης πελατών και τις προκλήσεις εξατομίκευσης. Η βελτιωμένη αναγνώριση ομιλίας στη διαχείριση τηλεφωνικών κέντρων και στη δρομολόγηση κλήσεων, ως αποτέλεσμα της εφαρμογής τεχνικών ΤΝ, επιτρέπει μια πιο απρόσκοπτη εμπειρία για τους πελάτες.
Για παράδειγμα, η ανάλυση βαθιάς μάθησης του ήχου επιτρέπει στα συστήματα να αξιολογούν τον συναισθηματικό τόνο ενός πελάτη. Εάν ο πελάτης δεν ανταποκρίνεται σωστά στο chatbot τεχνητής νοημοσύνης, το σύστημα μπορεί να ανακατευθύνει τη συνομιλία σε έναν πραγματικό, ανθρώπινο χειριστή που αναλαμβάνει το πρόβλημα.
Εκτός από τα τρία παραδείγματα βαθιάς μάθησης που αναφέρθηκαν παραπάνω, η Τεχνητή Νοημοσύνη χρησιμοποιείται ευρέως και σε άλλους τομείς και βιομηχανίες.
Γιατί είναι σημαντική η βαθιά μάθηση;
Η βαθιά μάθηση είναι ένα ισχυρό εργαλείο για τη μετατροπή των προβλέψεων σε εφαρμόσιμα αποτελέσματα. Η βαθιά μάθηση υπερέχει στην ανακάλυψη προτύπων και στην πρόβλεψη που βασίζεται στη γνώση. Big δεδομένων είναι το καύσιμο για βαθιά μάθηση. Όταν και τα δύο συνδυάζονται, ένας οργανισμός μπορεί να αποκομίσει αποτελέσματα στην παραγωγικότητα, τις πωλήσεις, τη διαχείριση και την καινοτομία που προηγουμένως ήταν απρόσιτα.
Η βαθιά μάθηση μπορεί επίσης να ξεπεράσει τις παραδοσιακές μεθόδους. Ειδικότερα, σε προβλήματα αντίληψης, τα βαθιά δίκτυα έχουν την κορυφαία απόδοση εδώ και χρόνια: η ταξινόμηση εικόνων, η αναγνώριση ομιλίας και η αναγνώριση προσώπου κυριαρχούνται από αρχιτεκτονικές βαθιάς μάθησης, με τα μοντέλα αναγνώρισης προσώπου να φτάνουν σε ακρίβεια σχεδόν 99% σε τυπικά δημόσια benchmarks. Το κέρδος προέρχεται από το γεγονός ότι το δίκτυο μαθαίνει τα δικά του χαρακτηριστικά αντί να βασίζεται σε χειροκίνητα κατασκευασμένα.
Περιορισμοί της βαθιάς μάθησης
Αυτά τα αποτελέσματα έρχονται με πραγματικό κόστος.
Επισήμανση δεδομένων
Τα περισσότερα σύγχρονα μοντέλα Τεχνητής Νοημοσύνης εκπαιδεύονται μέσω εποπτευόμενης μάθησης. Αυτό σημαίνει ότι οι άνθρωποι πρέπει να επισημαίνουν και να κατηγοριοποιούν τα υποκείμενα δεδομένα, κάτι που μπορεί να είναι μια σημαντική και επιρρεπής σε σφάλματα αγγαρεία. Για παράδειγμα, οι εταιρείες αναπτύσσουνping Οι τεχνολογίες αυτόνομων αυτοκινήτων προσλαμβάνουν εκατοντάδες άτομα για να σχολιάζουν χειροκίνητα ώρες ροών βίντεο από πρωτότυπα οχήματα, προκειμένου να εκπαιδεύσουν αυτά τα συστήματα.
Αποκτήστε τεράστια σύνολα δεδομένων εκπαίδευσης
Έχει αποδειχθεί ότι οι τεχνικές βαθιάς μάθησης όπως το CNN μπορούν, σε ορισμένες περιπτώσεις, να μιμηθούν τις γνώσεις ειδικών στην ιατρική και σε άλλους τομείς. Αυτό το κύμα μηχανικής μάθησης, ωστόσο, απαιτεί σύνολα δεδομένων εκπαίδευσης που όχι μόνο είναι επισημασμένα αλλά και επαρκώς ευρέα και καθολικά.
Οι μέθοδοι βαθιάς μάθησης απαιτούν χιλιάδες παρατηρήσεις για να γίνουν τα μοντέλα σχετικά καλά σε εργασίες ταξινόμησης και, σε ορισμένες περιπτώσεις, εκατομμύρια για να τα εκτελέσουν σε ανθρώπινο επίπεδο. Όπως ήταν αναμενόμενο, η βαθιά μάθηση είναι πιο συνηθισμένη σε γιγάντιες εταιρείες τεχνολογίας, οι οποίες χρησιμοποιούν μεγάλα δεδομένα για να συσσωρεύσουν petabytes παραδειγμάτων. Αυτή η κλίμακα τους επιτρέπει να δημιουργούν εντυπωσιακά και εξαιρετικά ακριβή μοντέλα βαθιάς μάθησης.
Εξηγήστε ένα πρόβλημα
Τα μεγάλα και πολύπλοκα μοντέλα μπορεί να είναι δύσκολο να εξηγηθούν με ανθρώπινους όρους, για παράδειγμα γιατί ελήφθη μια συγκεκριμένη απόφαση. Είναι ένας λόγος που η αποδοχή ορισμένων τεχνητή νοημοσύνη Τα εργαλεία είναι αργά σε τομείς εφαρμογής όπου η ερμηνευσιμότητα είναι χρήσιμη ή πράγματι απαιτείται.
Επιπλέον, καθώς επεκτείνεται η εφαρμογή της τεχνητής νοημοσύνης, οι κανονιστικές απαιτήσεις θα μπορούσαν επίσης να οδηγήσουν στην ανάγκη για πιο εξηγήσιμα μοντέλα τεχνητής νοημοσύνης.
