Обратно разпространение в невронна мрежа: Алгоритъм за машинно обучение

Преди да научим невронната мрежа за обратно разпространение (BPNN), нека разберем:

Какво представляват изкуствените невронни мрежи?

Невронната мрежа е група от свързани I/O единици, където всяка връзка има тегло, свързано с нейните компютърни програми. Помага ви да изграждате прогнозни модели от големи бази данни. Този модел се основава на човешката нервна система. Помага ви да провеждате разбиране на изображения, човешко обучение, компютърна реч и др.

Какво е обратно разпространение?

Обратно разпространение е същността на обучението на невронни мрежи. Това е методът за фина настройка на теглата на невронна мрежа въз основа на процента грешки, получен в предишната епоха (т.е. итерация). Правилната настройка на теглата ви позволява да намалите процента на грешки и да направите модела надежден чрез увеличаване на неговата генерализация.

Обратното разпространение в невронната мрежа е кратка форма за „обратно разпространение на грешки“. Това е стандартен метод за обучение на изкуствени невронни мрежи. Този метод помага да се изчисли градиентът на функцията на загубите по отношение на всички тегла в мрежата.

Как работи алгоритъмът за обратно разпространение

Алгоритъмът за обратно разпространение в невронната мрежа изчислява градиента на функцията на загуба за едно тегло по верижното правило. Той ефективно изчислява един слой наведнъж, за разлика от родното директно изчисление. Той изчислява градиента, но не определя как се използва градиентът. Той обобщава изчислението в делта правилото.

Разгледайте следната примерна диаграма на невронна мрежа с обратно разпространение, за да разберете:

1. Входове X, пристигат през предварително свързания път
2. Входът се моделира с помощта на реални тегла W. Теглата обикновено се избират на случаен принцип.
3. Изчислете изхода за всеки неврон от входния слой, през скритите слоеве, до изходния слой.
4. Изчислете грешката в изходите

ErrorB= Actual Output – Desired Output

5. Върнете се от изходния слой към скрития слой, за да коригирате теглата така, че грешката да бъде намалена.

Продължавайте да повтаряте процеса, докато се постигне желания резултат

Защо се нуждаем от обратно разпространение?

Най-важните предимства на обратното разпространение са:

• Обратното разпространение е бързо, просто и лесно за програмиране
• Той няма параметри за настройка, освен числата на входа
• Това е гъвкав метод, тъй като не изисква предварителни познания за мрежата
• Това е стандартен метод, който обикновено работи добре
• Не е необходимо специално споменаване на характеристиките на функцията, която трябва да се научи.

Какво е Feed Forward Network?

Предвиждащата невронна мрежа е изкуствена невронна мрежа, при която възлите никога не образуват цикъл. Този вид невронна мрежа има входен слой, скрити слоеве и изходен слой. Това е първият и най-прост вид изкуствена невронна мрежа.

Видове мрежи за обратно разпространение

Два вида мрежи за обратно разпространение са:

• Статично обратно разпространение
• Повтарящо се обратно разпространение

Статично обратно разпространение

Това е един вид мрежа за обратно разпространение, която създава картографиране на статичен вход за статичен изход. Полезно е за решаване на проблеми със статичната класификация като оптично разпознаване на знаци.

Повтарящо се обратно разпространение

Повтарящото се обратно разпространение при извличане на данни се подава напред, докато се постигне фиксирана стойност. След това грешката се изчислява и предава обратно.

Основната разлика между двата метода е, че картографирането е бързо при статично обратно разпространение, докато е нестатично при повтарящо се обратно разпространение.

История на обратното разпространение

• През 1961 г. основната концепция за непрекъснато обратно разпространение е изведена в контекста на теорията на контрола от Дж. Кели, Хенри Артър и Е. Брайсън.
• През 1969 г. Брайсън и Хо дадоха метод за многоетапна динамична системна оптимизация.
• През 1974 г. Вербос заявява възможността за прилагане на този принцип в изкуствена невронна мрежа.
• През 1982 г. Хопфийлд представи своята идея за невронна мрежа.
• През 1986 г. с усилията на Дейвид Е. Румелхарт, Джефри Е. Хинтън, Роналд Дж. Уилямс, обратното разпространение получава признание.
• През 1993 г. Уан е първият човек, спечелил международно състезание за разпознаване на образи с помощта на метода на обратно разпространение.

Ключови точки за обратно разпространение

• Опростява структурата на мрежата чрез връзки с претеглени елементи, които имат най-малко въздействие върху обучената мрежа
• Трябва да проучите група входни и активиращи стойности, за да развиете връзката между входния и скрития слой единици.
• Помага да се оцени въздействието, което дадена входна променлива има върху изхода на мрежата. Знанията, получени от този анализ, трябва да бъдат представени в правила.
• Обратното разпространение е особено полезно за дълбоки невронни мрежи, работещи по склонни към грешки проекти, като разпознаване на изображения или реч.
• Обратното разпространение се възползва от правилата за веригата и мощността, което позволява на обратното разпространение да функционира с произволен брой изходи.

Най-добра практика Обратно разпространение

Обратното разпространение в невронната мрежа може да се обясни с помощта на аналогията с „дантела за обувки“.

Твърде малко напрежение =

• Недостатъчно ограничаващо и много разхлабено

Твърде много напрежение =

• Твърде много ограничения (претрениране)
• Отнема твърде много време (сравнително бавен процес)
• По-висока вероятност от счупване

Дърпане на една дантела повече от друга =

• Дискомфорт (пристрастност)

Недостатъци на използването на обратно разпространение

• Действителната производителност на обратното разпространение при конкретен проблем зависи от входните данни.
• Алгоритъмът за обратно разпространение при извличане на данни може да бъде доста чувствителен към шумни данни
• Трябва да използвате базирания на матрица подход за обратно разпространение вместо минипартида.

Oбобщение

• Невронната мрежа е група от свързани I/O единици, където всяка връзка има тегло, свързано с нейните компютърни програми.
• Backpropagation е кратка форма за „обратно разпространение на грешки“. Това е стандартен метод за обучение на изкуствени невронни мрежи
• Алгоритъм за обратно разпространение в машинно обучение е бърз, лесен и лесен за програмиране
• Предната BPN мрежа е изкуствена невронна мрежа.
• Два вида мрежи за обратно разпространение са 1) Статично обратно разпространение 2) Повтарящо се обратно разпространение
• През 1961 г. основната концепция за непрекъснато обратно разпространение е изведена в контекста на теорията на контрола от Дж. Кели, Хенри Артър и Е. Брайсън.
• Обратно разпространение в извличане на данни опростява структурата на мрежата чрез премахване на претеглени връзки, които имат минимален ефект върху обучената мрежа.
• Това е особено полезно за дълбоки невронни мрежи, работещи върху проекти, склонни към грешки, като разпознаване на изображения или реч.
• Най-големият недостатък на обратното разпространение е, че може да бъде чувствителен към шумни данни.