Back Propagation in Neural Network: Machine Learning Algorithm

Πριν μάθουμε το νευρωνικό δίκτυο Back Propagation (BPNN), ας καταλάβουμε:

Τι είναι τα τεχνητά νευρωνικά δίκτυα;

Ένα νευρωνικό δίκτυο είναι μια ομάδα συνδεδεμένων μονάδων I/O όπου κάθε σύνδεση έχει ένα βάρος που σχετίζεται με τα προγράμματα υπολογιστή της. Σας βοηθά να δημιουργήσετε μοντέλα πρόβλεψης από μεγάλες βάσεις δεδομένων. Αυτό το μοντέλο βασίζεται στο ανθρώπινο νευρικό σύστημα. Σας βοηθά να κατανοήσετε την εικόνα, την ανθρώπινη μάθηση, την ομιλία στον υπολογιστή κ.λπ.

Τι είναι η backpropagation;

Ο πίσω πολλαπλασιασμός είναι η ουσία της εκπαίδευσης νευρωνικών δικτύων. Είναι η μέθοδος μικρορύθμισης των βαρών ενός νευρωνικού δικτύου με βάση το ποσοστό σφάλματος που λήφθηκε στην προηγούμενη εποχή (δηλαδή επανάληψη). Ο σωστός συντονισμός των βαρών σάς επιτρέπει να μειώσετε τα ποσοστά σφάλματος και να κάνετε το μοντέλο αξιόπιστο αυξάνοντας τη γενίκευσή του.

Η αντίστροφη διάδοση στο νευρωνικό δίκτυο είναι μια σύντομη μορφή για την «προς τα πίσω διάδοση σφαλμάτων». Είναι μια τυπική μέθοδος εκπαίδευσης τεχνητών νευρωνικών δικτύων. Αυτή η μέθοδος βοηθά στον υπολογισμό της κλίσης μιας συνάρτησης απώλειας σε σχέση με όλα τα βάρη στο δίκτυο.

Πώς λειτουργεί ο αλγόριθμος backpropagation

Ο αλγόριθμος διάδοσης πίσω στο νευρωνικό δίκτυο υπολογίζει την κλίση της συνάρτησης απώλειας για ένα μόνο βάρος από τον κανόνα της αλυσίδας. Υπολογίζει αποτελεσματικά ένα επίπεδο κάθε φορά, σε αντίθεση με έναν εγγενή άμεσο υπολογισμό. Υπολογίζει τη διαβάθμιση, αλλά δεν καθορίζει πώς χρησιμοποιείται η κλίση. Γενικεύει τον υπολογισμό στον κανόνα δέλτα.

Εξετάστε το ακόλουθο παράδειγμα διάγραμμα νευρωνικών δικτύων πίσω διάδοσης για να καταλάβετε:

1. Οι είσοδοι X, φτάνουν μέσω της προσυνδεδεμένης διαδρομής
2. Η είσοδος μοντελοποιείται χρησιμοποιώντας πραγματικά βάρη W. Τα βάρη επιλέγονται συνήθως τυχαία.
3. Υπολογίστε την έξοδο για κάθε νευρώνα από το επίπεδο εισόδου, στα κρυφά επίπεδα, στο επίπεδο εξόδου.
4. Υπολογίστε το σφάλμα στις εξόδους

ErrorB= Actual Output – Desired Output

5. Επιστρέψτε από το επίπεδο εξόδου στο κρυφό στρώμα για να προσαρμόσετε τα βάρη έτσι ώστε να μειωθεί το σφάλμα.

Συνεχίστε να επαναλαμβάνετε τη διαδικασία μέχρι να επιτευχθεί το επιθυμητό αποτέλεσμα

Γιατί χρειαζόμαστε backpropagation;

Τα πιο σημαντικά πλεονεκτήματα της Backpropagation είναι:

• Η οπίσθια διάδοση είναι γρήγορη, απλή και εύκολη στον προγραμματισμό
• Δεν έχει παραμέτρους για συντονισμό εκτός από τους αριθμούς εισόδου
• Είναι μια ευέλικτη μέθοδος καθώς δεν απαιτεί προηγούμενη γνώση για το δίκτυο
• Είναι μια τυπική μέθοδος που γενικά λειτουργεί καλά
• Δεν χρειάζεται καμία ειδική αναφορά στα χαρακτηριστικά της λειτουργίας για εκμάθηση.

Τι είναι ένα δίκτυο προώθησης τροφοδοσίας;

Ένα νευρωνικό δίκτυο τροφοδοσίας είναι ένα τεχνητό νευρωνικό δίκτυο όπου οι κόμβοι δεν σχηματίζουν ποτέ έναν κύκλο. Αυτό το είδος νευρωνικού δικτύου έχει ένα στρώμα εισόδου, κρυφά στρώματα και ένα στρώμα εξόδου. Είναι ο πρώτος και απλούστερος τύπος τεχνητού νευρωνικού δικτύου.

Τύποι Δικτύων Οπίσθιας Διάδοσης

Δύο τύποι δικτύων backpropagation είναι:

• Στατική αντίστροφη διάδοση
• Επαναλαμβανόμενη οπίσθια διάδοση

Στατική αντίστροφη διάδοση

Είναι ένα είδος δικτύου backpropagation που παράγει μια αντιστοίχιση μιας στατικής εισόδου για στατική έξοδο. Είναι χρήσιμο να επιλύονται θέματα στατικής ταξινόμησης, όπως η οπτική αναγνώριση χαρακτήρων.

Επαναλαμβανόμενη οπίσθια διάδοση

Η επαναλαμβανόμενη αντίστροφη διάδοση στην εξόρυξη δεδομένων τροφοδοτείται προς τα εμπρός μέχρι να επιτευχθεί μια σταθερή τιμή. Μετά από αυτό, το σφάλμα υπολογίζεται και διαδίδεται προς τα πίσω.

Η κύρια διαφορά μεταξύ των δύο αυτών μεθόδων είναι: ότι η αντιστοίχιση είναι γρήγορη στη στατική αναδρομική διάδοση ενώ είναι μη στατική στην επαναλαμβανόμενη οπισθοδιάδοση.

Ιστορία της οπίσθιας διάδοσης

• Το 1961, η βασική έννοια της συνεχούς οπισθοδιάδοσης προήλθε στο πλαίσιο της θεωρίας ελέγχου από τους J. Kelly, Henry Arthur και E. Bryson.
• Το 1969, οι Bryson και Ho έδωσαν μια μέθοδο δυναμικής βελτιστοποίησης συστημάτων πολλαπλών σταδίων.
• Το 1974, ο Werbos δήλωσε τη δυνατότητα εφαρμογής αυτής της αρχής σε ένα τεχνητό νευρωνικό δίκτυο.
• Το 1982, ο Hopfield έφερε την ιδέα του για ένα νευρωνικό δίκτυο.
• Το 1986, με την προσπάθεια των David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, η backpropagation κέρδισε την αναγνώριση.
• Το 1993, ο Wan ήταν το πρώτο άτομο που κέρδισε έναν διεθνή διαγωνισμό αναγνώρισης προτύπων με τη βοήθεια της μεθόδου backpropagation.

Βασικά σημεία οπίσθιας διάδοσης

• Απλοποιεί τη δομή του δικτύου με σταθμισμένους συνδέσμους στοιχείων που έχουν τη μικρότερη επίδραση στο εκπαιδευμένο δίκτυο
• Πρέπει να μελετήσετε μια ομάδα τιμών εισόδου και ενεργοποίησης για να αναπτύξετε τη σχέση μεταξύ των επιπέδων εισόδου και των κρυφών μονάδων.
• Βοηθά στην αξιολόγηση του αντίκτυπου που έχει μια δεδομένη μεταβλητή εισόδου σε μια έξοδο δικτύου. Η γνώση που αποκτάται από αυτή την ανάλυση θα πρέπει να αντιπροσωπεύεται σε κανόνες.
• Η οπίσθια διάδοση είναι ιδιαίτερα χρήσιμη για βαθιά νευρωνικά δίκτυα που εργάζονται σε έργα επιρρεπή σε σφάλματα, όπως η αναγνώριση εικόνας ή ομιλίας.
• Η backpropagation εκμεταλλεύεται τους κανόνες αλυσίδας και ισχύος επιτρέπει στην backpropagation να λειτουργεί με οποιοδήποτε αριθμό εξόδων.

καλυτερα πρακτική Backpropagation

Η οπίσθια διάδοση στο νευρωνικό δίκτυο μπορεί να εξηγηθεί με τη βοήθεια της αναλογίας «Shoe Lace».

Πολύ μικρή ένταση =

• Δεν είναι αρκετά περιοριστικό και πολύ χαλαρό

Πολύ ένταση =

• Υπερβολικός περιορισμός (υπερπροπόνηση)
• Πάρτε πολύ χρόνο (σχετικά αργή διαδικασία)
• Μεγαλύτερη πιθανότητα θραύσης

Τραβώντας τη μια δαντέλα περισσότερο από την άλλη =

• Δυσφορία (προκατάληψη)

Μειονεκτήματα της χρήσης Backpropagation

• Η πραγματική απόδοση της backpropagation σε ένα συγκεκριμένο πρόβλημα εξαρτάται από τα δεδομένα εισόδου.
• Ο αλγόριθμος διάδοσης προς τα πίσω στην εξόρυξη δεδομένων μπορεί να είναι αρκετά ευαίσθητος σε θορυβώδη δεδομένα
• Πρέπει να χρησιμοποιήσετε την προσέγγιση βασισμένη σε μήτρα για backpropagation αντί για mini-batch.

Σύνοψη

• Ένα νευρωνικό δίκτυο είναι μια ομάδα συνδεδεμένων μονάδων I/O όπου κάθε σύνδεση έχει ένα βάρος που σχετίζεται με τα προγράμματα υπολογιστή της.
• Η αντίστροφη διάδοση είναι μια σύντομη φόρμα για την "προς τα πίσω διάδοση σφαλμάτων". Είναι μια τυπική μέθοδος εκπαίδευσης τεχνητών νευρωνικών δικτύων
• Αλγόριθμος διάδοσης προς τα πίσω στο μάθηση μηχανής είναι γρήγορο, απλό και εύκολο στον προγραμματισμό
• Ένα feedforward δίκτυο BPN είναι ένα τεχνητό νευρωνικό δίκτυο.
• Δύο τύποι δικτύων οπίσθιας διάδοσης είναι 1) Στατική αντίστροφη διάδοση 2) ​​επαναλαμβανόμενη αναδρομική διάδοση
• Το 1961, η βασική έννοια της συνεχούς οπισθοδιάδοσης προήλθε στο πλαίσιο της θεωρίας ελέγχου από τους J. Kelly, Henry Arthur και E. Bryson.
• Πίσω διάδοση σε εξόρυξη δεδομένων απλοποιεί τη δομή του δικτύου αφαιρώντας σταθμισμένες συνδέσεις που έχουν ελάχιστη επίδραση στο εκπαιδευμένο δίκτυο.
• Είναι ιδιαίτερα χρήσιμο για βαθιά νευρωνικά δίκτυα που εργάζονται σε έργα επιρρεπή σε σφάλματα, όπως η αναγνώριση εικόνας ή ομιλίας.
• Το μεγαλύτερο μειονέκτημα του Backpropagation είναι ότι μπορεί να είναι ευαίσθητο σε θορυβώδη δεδομένα.