Обратное распространение в нейронной сети: алгоритм машинного обучения

Прежде чем мы изучим нейронную сеть обратного распространения (BPNN), давайте поймем:

Что такое искусственные нейронные сети?

Нейронная сеть — это группа связанных блоков ввода-вывода, где каждое соединение имеет вес, связанный с его компьютерными программами. Это помогает вам строить прогнозные модели на основе больших баз данных. Эта модель основана на нервной системе человека. Это помогает вам понимать изображения, человеческое обучение, компьютерную речь и т. д.

Что такое обратное распространение?

обратное распространение это суть обучения нейронной сети. Это метод точной настройки весов нейронной сети на основе частоты ошибок, полученной в предыдущую эпоху (т. е. итерацию). Правильная настройка весов позволяет снизить частоту ошибок и сделать модель надежной за счет повышения ее обобщения.

Обратное распространение ошибки в нейронной сети — это короткая форма «обратного распространения ошибок». Это стандартный метод обучения искусственных нейронных сетей. Этот метод помогает вычислить градиент функции потерь по отношению ко всем весам в сети.

Как работает алгоритм обратного распространения ошибки

Алгоритм обратного распространения в нейронной сети вычисляет градиент функции потерь для одного веса по цепному правилу. Он эффективно вычисляет один слой за раз, в отличие от собственных прямых вычислений. Он вычисляет градиент, но не определяет, как он используется. Он обобщает вычисления в delta править.

Рассмотрим следующееwing Пример диаграммы нейронной сети обратного распространения для понимания:

Алгоритм обратного распространения
Как работает алгоритм обратного распространения ошибки
  1. Входы X поступают по заранее подключенному пути.
  2. Входные данные моделируются с использованием реальных весов W. Веса обычно выбираются случайным образом.
  3. Рассчитайте выходные данные для каждого нейрона от входного слоя до скрытых слоев и выходного слоя.
  4. Вычислить ошибку в выходных данных
ErrorB= Actual Output – Desired Output
  1. Вернитесь от выходного слоя к скрытому слою, чтобы настроить веса так, чтобы ошибка уменьшилась.

Продолжайте повторять процесс, пока не будет достигнут желаемый результат.

Зачем нам нужно обратное распространение ошибки?

Наиболее заметными преимуществами обратного распространения ошибки являются:

  • Обратное распространение ошибки быстрое, простое и легко программируемое.
  • У него нет параметров для настройки, кроме количества входных данных.
  • Это гибкий метод, поскольку он не требует предварительных знаний о сети.
  • Это стандартный метод, который обычно работает хорошо.
  • Специального упоминания об особенностях изучаемой функции не требуется.

Что такое сеть прямой связи?

Нейронная сеть прямого распространения — это искусственная нейронная сеть, узлы которой никогда не образуют цикл. Этот тип нейронной сети имеет входной слой, скрытые слои и выходной слой. Это первый и самый простой тип искусственной нейронной сети.

Типы сетей обратного распространения ошибки

Два типа сетей обратного распространения ошибки:

  • Статическое обратное распространение ошибки
  • Рекуррентное обратное распространение ошибки

Статическое обратное распространение ошибки

Это один из видов сети обратного распространения ошибки, которая преобразует статические входные данные в статические выходные данные. Это полезно для решения проблем статической классификации, таких как оптическое распознавание символов.

Рекуррентное обратное распространение ошибки

Рекуррентное обратное распространение при интеллектуальном анализе данных передается вперед до тех пор, пока не будет достигнуто фиксированное значение. После этого ошибка вычисляется и распространяется обратно.

Основное различие между обоими этими методами заключается в том, что отображение происходит быстро при статическом обратном распространении ошибки и нестатично при рекуррентном обратном распространении ошибки.

История обратного распространения ошибки

  • В 1961 году базовая концепция непрерывного обратного распространения ошибки была выведена в контексте теории управления Дж. Келли, Генри Артуром и Э. Брайсоном.
  • В 1969 году Брайсон и Хо предложили метод оптимизации многоэтапной динамической системы.
  • В 1974 году Вербос заявил о возможности применения этого принципа в искусственной нейронной сети.
  • В 1982 году Хопфилд выдвинул свою идею нейронной сети.
  • В 1986 году усилиями Дэвида Э. Румельхарта, Джеффри Э. Хинтона и Рональда Дж. Уильямса обратное распространение ошибки получило признание.
  • В 1993 году Ван стал первым человеком, выигравшим международный конкурс по распознаванию образов с помощью метода обратного распространения ошибки.

Ключевые моменты обратного распространения ошибки

  • Упрощает структуру сети за счет элементов, взвешивающих ссылки, которые оказывают наименьшее влияние на обучаемую сеть.
  • Вам необходимо изучить группу входных значений и значений активации, чтобы определить взаимосвязь между входными и скрытыми слоями единиц.
  • Это помогает оценить влияние, которое данная входная переменная оказывает на выходные данные сети. Знания, полученные в результате этого анализа, должны быть представлены в правилах.
  • Обратное распространение ошибки особенно полезно для глубоких нейронных сетей, работающих над подверженными ошибкам проектами, такими как распознавание изображений или речи.
  • Обратное распространение ошибки использует преимущества цепи, а правила мощности позволяют обратному распространению работать с любым количеством выходов.

Лучшая практика обратного распространения ошибки

Обратное распространение ошибки в нейронной сети можно объяснить с помощью аналогии со «шнурком для обуви».

Слишком мало напряжения =

  • Недостаточно сковывающий и очень свободный.

Слишком большое напряжение =

  • Слишком сильное ограничение (перетренированность)
  • Отнимает слишком много времени (относительно медленный процесс)
  • Более высокая вероятность поломки

Потянув за один шнурок больше, чем за другой =

  • Дискомфорт (предвзятость)

Недостатки использования обратного распространения ошибки

  • Фактическая производительность обратного распространения ошибки при решении конкретной проблемы зависит от входных данных.
  • Алгоритм обратного распространения при интеллектуальном анализе данных может быть весьма чувствителен к зашумленным данным.
  • Вам необходимо использовать матричный подход для обратного распространения ошибки вместо мини-пакета.

Итоги

  • Нейронная сеть — это группа подключенных к ней блоков ввода-вывода, где каждое соединение имеет вес, связанный с его компьютерными программами.
  • Обратное распространение ошибки — это короткая форма «обратного распространения ошибок». Это стандартный метод обучения искусственных нейронных сетей.
  • Алгоритм обратного распространения в обучение с помощью машины быстро, просто и легко программируется
  • Сеть BPN с прямой связью представляет собой искусственную нейронную сеть.
  • Два типа сетей обратного распространения ошибки: 1) статическое обратное распространение ошибки 2) рекуррентное обратное распространение ошибки
  • В 1961 году базовая концепция непрерывного обратного распространения ошибки была выведена в контексте теории управления Дж. Келли, Генри Артуром и Э. Брайсоном.
  • Обратное распространение в добыча данных упрощает структуру сети за счет удаления взвешенных связей, оказывающих минимальное влияние на обучаемую сеть.
  • Это особенно полезно для глубоких нейронных сетей, работающих над подверженными ошибкам проектами, такими как распознавание изображений или речи.
  • Самым большим недостатком обратного распространения ошибки является то, что оно может быть чувствительно к зашумленным данным.