Зворотне поширення в нейронній мережі: алгоритм машинного навчання

Перш ніж вивчати нейронну мережу зворотного поширення (BPNN), давайте розберемося:

Що таке штучні нейронні мережі?

Нейронна мережа — це група з’єднаних блоків вводу/виводу, де кожне з’єднання має вагу, пов’язану з його комп’ютерними програмами. Це допомагає вам будувати прогнозні моделі з великих баз даних. Ця модель побудована на основі нервової системи людини. Це допомагає вам проводити розуміння зображень, навчання людини, комп’ютерне мовлення тощо.

Що таке зворотне поширення?

Зворотне поширення це суть навчання нейронної мережі. Це метод точного налаштування вагових коефіцієнтів нейронної мережі на основі коефіцієнта помилок, отриманого в попередній епосі (тобто ітерації). Правильне налаштування вагових коефіцієнтів дозволяє зменшити частоту помилок і зробити модель надійною за рахунок збільшення її узагальнення.

Зворотне поширення в нейронній мережі є скороченою формою для «зворотного поширення помилок». Це стандартний метод навчання штучних нейронних мереж. Цей метод допомагає обчислити градієнт функції втрат відносно всіх ваг у мережі.

Як працює алгоритм зворотного поширення

Алгоритм зворотного розповсюдження в нейронній мережі обчислює градієнт функції втрат для однієї ваги за ланцюговим правилом. Він ефективно обчислює один рівень за раз, на відміну від рідного прямого обчислення. Він обчислює градієнт, але не визначає, як цей градієнт використовується. Він узагальнює обчислення в дельта-правилі.

Розгляньте наведену нижче діаграму нейронної мережі зворотного поширення, щоб зрозуміти:

1. Вхідні дані X надходять через попередньо підключений шлях
2. Вхідні дані моделюються з використанням реальних ваг W. Вагові коефіцієнти зазвичай вибираються випадковим чином.
3. Обчисліть вихід для кожного нейрона від вхідного шару до прихованих шарів і до вихідного шару.
4. Обчисліть похибку у виходах

ErrorB= Actual Output – Desired Output

5. Поверніться від вихідного шару до прихованого, щоб налаштувати ваги таким чином, щоб зменшити помилку.

Продовжуйте повторювати процес, доки не буде досягнуто бажаного результату

Чому нам потрібне зворотне поширення?

Найбільш помітними перевагами зворотного поширення є:

• Зворотне поширення є швидким, простим і легким у програмуванні
• Він не має параметрів для налаштування, окрім введених чисел
• Це гнучкий метод, оскільки він не вимагає попередніх знань про мережу
• Це стандартний метод, який зазвичай добре працює
• Не потребує особливої ​​згадки про особливості функції, яку потрібно вивчити.

Що таке Feed Forward Network?

Нейронна мережа прямого зв’язку – це штучна нейронна мережа, де вузли ніколи не утворюють циклу. Цей вид нейронної мережі має вхідний рівень, приховані шари та вихідний рівень. Це перший і найпростіший тип штучної нейронної мережі.

Типи мереж зворотного поширення

Два типи мереж зворотного поширення:

• Статичне зворотне поширення
• Повторне зворотне поширення

Статичне зворотне поширення

Це один з видів мережі зворотного поширення, яка створює картуping статичного входу для статичного виходу. Це корисно для вирішення проблем статичної класифікації, таких як оптичне розпізнавання символів.

Повторне зворотне поширення

Повторюване зворотне розповсюдження в інтелектуальному аналізі даних подається вперед, доки не буде досягнуто фіксоване значення. Після цього помилка обчислюється та поширюється назад.

Основна відмінність між цими двома методами полягає в тому, що картаping є швидким при статичному зворотному поширенні, тоді як він нестатичний при рекурентному зворотному поширенні.

Історія зворотного поширення

• У 1961 році Дж. Келлі, Генрі Артур і Е. Брайсон вивели основну концепцію безперервного зворотного поширення в контексті теорії управління.
• У 1969 році Брайсон і Хо запропонували багатоетапний метод оптимізації динамічної системи.
• У 1974 році Вербос заявив про можливість застосування цього принципу в штучній нейронній мережі.
• У 1982 році Хопфілд представив свою ідею нейронної мережі.
• У 1986 році зусиллями Девіда Е. Румельхарта, Джеффрі Е. Хінтона, Рональда Дж. Вільямса зворотне поширення отримало визнання.
• У 1993 році Ван був першою людиною, яка виграла міжнародний конкурс з розпізнавання образів за допомогою методу зворотного поширення.

Ключові моменти зворотного поширення

• Спрощує мережеву структуру за рахунок елементів зважених посилань, які мають найменший вплив на навчену мережу
• Вам потрібно вивчити групу вхідних і активаційних значень, щоб розвинути зв’язок між вхідним і прихованим рівнями одиниць.
• Це допомагає оцінити вплив даної вхідної змінної на вихід мережі. Знання, отримані в результаті цього аналізу, повинні бути представлені в правилах.
• Зворотне поширення особливо корисно для глибоких нейронних мереж, які працюють над схильними до помилок проектами, такими як розпізнавання зображень або мови.
• Зворотне розповсюдження використовує переваги правил ланцюга та потужності, що дозволяє зворотному поширенню працювати з будь-якою кількістю виходів.

Найкраща практика Зворотне поширення

Зворотне розповсюдження в нейронній мережі можна пояснити за допомогою аналогії «She Lace».

Занадто мало напруги =

• Недостатньо обмежуючий і дуже вільний

Занадто багато напруги =

• Занадто багато обмежень (перетренованість)
• Займає занадто багато часу (відносно повільний процес)
• Вища ймовірність поломки

Натягнути один шнурок більше, ніж інший =

• Дискомфорт (зміщення)

Недоліки використання зворотного поширення

• Фактична продуктивність зворотного поширення для конкретної проблеми залежить від вхідних даних.
• Алгоритм зворотного поширення в інтелектуальному аналізі даних може бути досить чутливим до шумних даних
• Вам потрібно використовувати підхід на основі матриці для зворотного поширення замість міні-пакетів.

Резюме

• Нейронна мережа — це група з’єднаних блоків вводу/виводу, де кожне з’єднання має вагу, пов’язану з його комп’ютерними програмами.
• Зворотне розповсюдження є скороченою формою для «зворотного розповсюдження помилок». Це стандартний метод навчання штучних нейронних мереж
• Алгоритм зворотного поширення в навчання за допомогою машини є швидким, простим і легким у програмуванні
• Упереджена мережа BPN — це штучна нейронна мережа.
• Два типи мереж зворотного поширення: 1) статичне зворотне поширення 2) періодичне зворотне поширення
• У 1961 році Дж. Келлі, Генрі Артур і Е. Брайсон вивели основну концепцію безперервного зворотного поширення в контексті теорії управління.
• Зворотне поширення в видобуток даних спрощує структуру мережі, видаляючи зважені посилання, які мають мінімальний вплив на навчену мережу.
• Це особливо корисно для глибоких нейронних мереж, які працюють над схильними до помилок проектами, такими як розпізнавання зображень або мови.
• Найбільшим недоліком зворотного поширення є те, що він може бути чутливим до шумних даних.