Propagasi Balik di Jaringan Neural: Algoritma Pembelajaran Mesin
Evelyn Clarke
Sebelum kita mempelajari Back Propagation Neural Network (BPNN), mari kita pahami:
Apa itu Jaringan Syaraf Tiruan?
Jaringan saraf adalah sekelompok unit I/O yang terhubung dimana setiap koneksi memiliki bobot yang terkait dengan program komputernya. Ini membantu Anda membangun model prediktif dari database besar. Model ini dibangun berdasarkan sistem saraf manusia. Ini membantu Anda melakukan pemahaman gambar, pembelajaran manusia, ucapan komputer, dll.
Apa itu Backpropagation?
Propagasi mundur adalah inti dari pelatihan jaringan saraf. Ini adalah metode menyempurnakan bobot jaringan saraf berdasarkan tingkat kesalahan yang diperoleh pada periode sebelumnya (yaitu, iterasi). Penyetelan bobot yang tepat memungkinkan Anda mengurangi tingkat kesalahan dan membuat model dapat diandalkan dengan meningkatkan generalisasinya.
Propagasi mundur dalam jaringan saraf adalah kependekan dari “propagasi mundur kesalahan”. Ini adalah metode standar untuk melatih jaringan saraf tiruan. Metode ini membantu menghitung gradien fungsi kerugian terhadap semua bobot dalam jaringan.
Cara Kerja Algoritma Backpropagation
Algoritme propagasi balik dalam jaringan saraf menghitung gradien fungsi kerugian untuk bobot tunggal dengan aturan rantai. Algoritme ini secara efisien menghitung satu lapisan pada satu waktu, tidak seperti komputasi langsung asli. Algoritme ini menghitung gradien, tetapi tidak menentukan bagaimana gradien digunakan. Algoritme ini menggeneralisasi komputasi dalam aturan delta.
Perhatikan diagram contoh jaringan saraf perambatan balik berikut untuk memahaminya:
- Input X, tiba melalui jalur yang telah terhubung sebelumnya
- Input dimodelkan menggunakan bobot nyata W. Bobot biasanya dipilih secara acak.
- Hitung keluaran setiap neuron mulai dari lapisan masukan, lapisan tersembunyi, hingga lapisan keluaran.
- Hitung kesalahan dalam output
ErrorB= Actual Output – Desired Output
- Perjalanan kembali dari lapisan keluaran ke lapisan tersembunyi untuk menyesuaikan bobot sehingga kesalahan berkurang.
Ulangi terus proses tersebut hingga hasil yang diinginkan tercapai
Mengapa Kita Membutuhkan Propagasi Balik?
Keuntungan paling menonjol dari Backpropagation adalah:
- Propagasi mundur cepat, sederhana dan mudah diprogram
- Ia tidak memiliki parameter untuk disesuaikan selain jumlah input
- Ini adalah metode yang fleksibel karena tidak memerlukan pengetahuan sebelumnya tentang jaringan
- Ini adalah metode standar yang umumnya berfungsi dengan baik
- Tidak perlu disebutkan secara khusus tentang fitur-fitur fungsi yang akan dipelajari.
Apa itu Jaringan Feed Forward?
Jaringan saraf maju umpan adalah jaringan saraf tiruan yang simpul-simpulnya tidak pernah membentuk siklus. Jaringan saraf jenis ini memiliki lapisan masukan, lapisan tersembunyi, dan lapisan keluaran. Ini adalah jenis jaringan saraf tiruan yang pertama dan paling sederhana.
Jenis Jaringan Backpropagation
Dua Jenis Jaringan Backpropagation adalah:
- Propagasi Balik Statis
- Propagasi Balik Berulang
Propagasi balik statis
Ini adalah salah satu jenis jaringan propagasi mundur yang menghasilkan pemetaan masukan statis untuk keluaran statis. Hal ini berguna untuk memecahkan masalah klasifikasi statis seperti pengenalan karakter optik.
Propagasi Balik Berulang
Propagasi Balik Berulang dalam penambangan data diumpankan ke depan hingga nilai tetap tercapai. Setelah itu, kesalahan dihitung dan disebarkan ke belakang.
Perbedaan utama antara kedua metode ini adalah: pemetaannya cepat pada propagasi balik statis, sedangkan pemetaannya bersifat nonstatis pada propagasi mundur berulang.
Sejarah Propagasi Balik
- Pada tahun 1961, konsep dasar propagasi mundur berkelanjutan diturunkan dalam konteks teori kontrol oleh J. Kelly, Henry Arthur, dan E. Bryson.
- Pada tahun 1969, Bryson dan Ho memberikan metode optimasi sistem dinamis multi-tahap.
- Pada tahun 1974, Werbos menyatakan kemungkinan penerapan prinsip ini dalam jaringan saraf tiruan.
- Pada tahun 1982, Hopfield mengemukakan idenya tentang jaringan saraf.
- Pada tahun 1986, melalui upaya David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, propagasi mundur mendapat pengakuan.
- Pada tahun 1993, Wan menjadi orang pertama yang memenangkan kontes pengenalan pola internasional dengan bantuan metode propagasi mundur.
Poin Penting Propagasi Balik
- Menyederhanakan struktur jaringan dengan elemen tautan berbobot yang memiliki pengaruh paling kecil pada jaringan terlatih
- Anda perlu mempelajari sekelompok nilai masukan dan aktivasi untuk mengembangkan hubungan antara lapisan masukan dan unit tersembunyi.
- Ini membantu untuk menilai dampak variabel masukan tertentu terhadap keluaran jaringan. Pengetahuan yang diperoleh dari analisis ini harus direpresentasikan dalam aturan.
- Propagasi mundur sangat berguna untuk jaringan neural dalam yang mengerjakan proyek yang rawan kesalahan, seperti pengenalan gambar atau ucapan.
- Propagasi mundur memanfaatkan rantai dan aturan daya memungkinkan propagasi mundur berfungsi dengan sejumlah keluaran berapa pun.
Praktik terbaik Propagasi Balik
Propagasi mundur dalam jaringan saraf dapat dijelaskan dengan bantuan analogi “Shoe Lace”.
Terlalu sedikit ketegangan =
- Tidak cukup mengekang dan sangat longgar
Terlalu banyak ketegangan =
- Terlalu banyak kendala (overtraining)
- Membutuhkan terlalu banyak waktu (proses yang relatif lambat)
- Kemungkinan pecah lebih tinggi
Menarik satu tali lebih banyak dari yang lain =
- Ketidaknyamanan (bias)
Kekurangan menggunakan Backpropagation
- Performa sebenarnya dari propagasi mundur pada masalah tertentu bergantung pada data masukan.
- Algoritma propagasi balik dalam penambangan data bisa sangat sensitif terhadap data yang berisik
- Anda perlu menggunakan pendekatan berbasis matriks untuk propagasi mundur, bukan mini-batch.
Kesimpulan
- Jaringan saraf adalah sekelompok unit I/O yang terhubung dimana setiap koneksi memiliki bobot yang terkait dengan program komputernya.
- Propagasi mundur adalah kependekan dari “propagasi mundur kesalahan”. Ini adalah metode standar untuk melatih jaringan saraf tiruan
- Algoritma propagasi balik di Mesin belajar cepat, sederhana dan mudah diprogram
- Jaringan BPN feedforward merupakan jaringan syaraf tiruan.
- Dua Jenis Jaringan Backpropagation adalah 1) Propagasi Balik Statis 2) Propagasi Balik Berulang
- Pada tahun 1961, konsep dasar propagasi mundur berkelanjutan diturunkan dalam konteks teori kontrol oleh J. Kelly, Henry Arthur, dan E. Bryson.
- Propagasi balik masuk data mining menyederhanakan struktur jaringan dengan menghapus tautan berbobot yang memiliki efek minimal pada jaringan terlatih.
- Hal ini sangat berguna untuk jaringan neural dalam yang mengerjakan proyek yang rawan kesalahan, seperti pengenalan gambar atau ucapan.
- Kelemahan terbesar dari Backpropagation adalah sensitif terhadap data yang berisik.
