Обратное распространение ошибки в нейронной сети: алгоритм машинного обучения и пример.
Эвелин Кларк
⚡ Умное резюме
Обратное распространение ошибки — это основной алгоритм обучения нейронной сети, который, послойно, корректирует каждый вес на основе ошибки, измеренной в предыдущей эпохе, чтобы модель лучше обобщала данные, ранее не встречавшиеся в сети.
Что такое искусственная нейронная сеть?
Искусственная нейронная сеть — это группа соединенных блоков ввода-вывода, где каждое соединение несет свой вес. Она помогает создавать прогностические модели на основе больших баз данных, а ее архитектура заимствует свой словарь из человеческой нервной системы. Сети такого типа поддерживают распознавание изображений, машинное обучение, компьютерную речь и многие другие задачи распознавания образов.
Обратное распространение ошибки — это алгоритм, который определяет, какими должны быть эти веса, поэтому эти две идеи лучше всего рассматривать вместе.
Что такое обратное распространение?
Обратное распространение ошибки — это суть обучения нейронных сетей. Это метод точной настройки весов нейронной сети на основе частоты ошибок, полученной в предыдущей эпохе (т.е. итерации). Правильная настройка весов позволяет снизить частоту ошибок и сделать модель более надежной за счет повышения ее обобщающей способности.
Обратное распространение ошибки в нейронной сети — это короткая форма «обратного распространения ошибок». Это стандартный метод обучения искусственных нейронных сетей. Этот метод помогает вычислить градиент функции потерь по отношению ко всем весам в сети.
Два термина часто путают. Обратное распространение ошибки. вычисляет градиент; оптимизатор, такой как градиентный спуск, — это то, что фактически... изменения Веса, рассчитанные с использованием этого градиента. Практически каждый современный фреймворк автоматически выполняет обратное распространение ошибки с помощью своего механизма автодифференцирования.
Как работает алгоритм обратного распространения ошибки
Алгоритм обратного распространения ошибки в нейронных сетях вычисляет градиент функции потерь для одного веса по правилу цепочки. Он эффективно вычисляет градиент по одному слою за раз, в отличие от наивного прямого вычисления. Он вычисляет градиент, но не определяет, как он используется. Он обобщает вычисление в правиле дельта.
Эффективность обеспечивается правилом цепочки. Влияние одного начального веса на итоговую функцию потерь является произведением локальных производных вдоль пути к выходу, поэтому алгоритм кэширует промежуточный результат каждого слоя на обратном пути и повторно использует его для каждого веса в слое ниже, вместо того чтобы пересчитывать всю сеть для каждого веса.
Для понимания рассмотрим следующую диаграмму нейронной сети с обратным распространением ошибки. На рисунке... tracЭто один полный проход: входные данные поступают слева, активации распространяются через скрытый слой к выходу, а измеренная ошибка затем передается обратно по тем же соединениям для коррекции весов.
- Входы X поступают по заранее подключенному пути.
- Входные данные моделируются с использованием реальных весов W. Веса обычно выбираются случайным образом.
- Рассчитайте выходные данные для каждого нейрона от входного слоя до скрытых слоев и выходного слоя.
- Рассчитайте погрешность в выходных данных:
ErrorB= Actual Output – Desired Output
- Вернитесь от выходного слоя к скрытому слою, чтобы настроить веса так, чтобы ошибка уменьшилась.
- Повторяйте этот процесс до тех пор, пока не будет достигнут желаемый результат.
Во многих учебниках указывается одинаковое количество слов. желаемое минус фактическоеОба варианта приемлемы, поскольку знак поглощается при подпрограммировании оптимизатора.tracЭто градиент, при условии, что вы будете придерживаться единой системы обозначений во всей сети.
На практике ошибка редко заключается в простом подпрограммировании.tracФункция потерь, такая как среднеквадратичная ошибка для регрессии или кросс-энтропия для классификации, преобразует разницу между выходными значениями в одно число, которое фактически вычисляется при обратном распространении градиента.
Зачем нам нужно обратное распространение ошибки?
Наиболее заметными преимуществами обратного распространения ошибки являются:
- Обратное распространение ошибки быстрое, простое и легко программируемое.
- Она не добавляет никаких новых параметров; настройка, которую вы выполняете, относится к оптимизатору и сети, главным образом к скорости обучения и количеству входных данных.
- Это гибкий метод, поскольку он не требует предварительных знаний о сети.
- Это стандартный метод, который обычно работает хорошо.
- Специального упоминания об особенностях изучаемой функции не требуется.
Проще говоря, без эффективного способа получения градиентов обучение чего-либо глубже одного слоя было бы вычислительно нецелесообразным.
Что такое сеть прямой связи?
Нейронная сеть прямого распространения — это искусственная нейронная сеть, узлы которой никогда не образуют цикл. Этот тип нейронной сети имеет входной слой, скрытые слои и выходной слой. Это первый и самый простой тип искусственной нейронной сети.
Это различие здесь важно, потому что прямой проход обратного распространения ошибки — это в точности прямой проход; только коррекция ошибок выполняется в обратном направлении.
Типы сетей обратного распространения ошибки
Два типа сетей обратного распространения ошибки:
- Статическое обратное распространение ошибки
- Рекуррентное обратное распространение ошибки
Статическое обратное распространение ошибки
Это один из видов нейронных сетей обратного распространения, который создает карту.ping Преобразование статического входного сигнала в статический выходной. Это полезно для решения задач статической классификации, таких как оптическое распознавание символов.
Рекуррентное обратное распространение ошибки
Рекуррентное обратное распространение ошибки в добыча данных Ошибка передается в прямом направлении до достижения фиксированного значения. После этого вычисляется ошибка и распространяется в обратном направлении.
Главное различие между этими двумя методами заключается в том, что картаping В статическом алгоритме обратного распространения ошибки наблюдается высокая скорость распространения, тогда как в рекуррентном алгоритме обратного распространения ошибки скорость распространения ошибки нестабильна. В таблице ниже приведено сравнение этих двух алгоритмов.
| Критерий | Статическое обратное распространение ошибки | Рекуррентное обратное распространение |
|---|---|---|
| Картаping | Статический вход в статический выход | Нестатический режим; сеть стабилизируется до того, как будет использована ошибка. |
| Скорость | Быстрое прохождение, один проход на образец. | Более медленный процесс активации повторяется до тех пор, пока не стабилизируется. |
| Форма сети | Прямая связь, без циклов | Содержит элементы обратной связи. |
| Типичное использование | Оптическое распознавание символов, классификация фиксированного размера | Проблемы, результат которых зависит от установленного внутреннего состояния. |
История обратного распространения ошибки
- В 1961 году Дж. Келли, Генри Артур и Э. Брайсон в контексте теории управления вывели базовую концепцию непрерывного обратного распространения ошибки.
- В 1969 году Брайсон и Хо предложили метод оптимизации многоэтапной динамической системы.
- В 1970 году Сеппо Линнайнмаа опубликовал обратный режим автоматического дифференцирования — вычислительный метод, на котором основана современная обратная передача ошибки.
- В 1974 году Вербос заявил о возможности применения этого принципа в искусственной нейронной сети.
- В 1982 году Хопфилд выдвинул свою идею нейронной сети.
- В 1986 году усилиями Дэвида Э. Румельхарта, Джеффри Э. Хинтона и Рональда Дж. Уильямса обратное распространение ошибки получило признание.
- В 1989 году Ян ЛеКун и его коллеги обучили сверточную нейронную сеть с обратным распространением ошибки считывать рукописные цифры, что стало одним из первых крупномасштабных практических применений этой технологии.
- В 1993 году Ван стал первым человеком, выигравшим международный конкурс по распознаванию образов с помощью метода обратного распространения ошибки.
- В 2006 году работа Хинтона по глубоким сетям доверия и послойному предварительному обучению возродила интерес к обучению глубоких нейронных сетей, который застопорился из-за эффекта исчезающих градиентов.
- В 2010 году Ксавье Глоро и Йошуа Бенджио проанализировали причины сложности обучения глубоких нейронных сетей и предложили улучшенную инициализацию весов, которая, наряду с активациями ReLU, сделала глубокое обратное распространение ошибки практичным.
- В 2012 году AlexNet (Крижевский, Суцкевер и Хинтон) выиграли конкурс ImageNet, используя ускоренное на графических процессорах обратное распространение ошибки, что положило начало современному буму глубокого обучения.
- В 2014 году был представлен оптимизатор Adam (Kingma и Ba), который быстро стал вариантом градиентного спуска по умолчанию, используемым с обратным распространением ошибки.
- В 2015 году пакетная нормализация и остаточные сети (ResNet) решили проблемы градиентного потока в очень глубоких сетях, обеспечив обратное распространение ошибки через сотни слоев.
- В 2015-2017 годах использовались TensorFlow и Python.TorБлагодаря ch автоматическое дифференцирование стало стандартной функцией программного обеспечения, поэтому градиенты больше не нужно было вычислять вручную.
- В 2017 году была представлена архитектура Transformer, которая, как и большие языковые модели, построенные на её основе, обучается от начала до конца с использованием обратного распространения ошибки.
- В 2019 году Бенджио, Хинтон и ЛеКун получили премию ACM AM Turing Award за свою работу над глубокими нейронными сетями.
- В 2020 году в статье «Обратное распространение ошибки и мозг» (Лилликрап, Санторо, Маррис, Акерман и Хинтон) утверждалось, что мозг может имитировать обучение, подобное обратному распространению ошибки, что вновь открыло дискуссию о биологической правдоподобности этого явления.
- В 2022 году Хинтон предложил алгоритм Forward-Forward — метод обучения, который полностью исключает обратный проход.
- В 2024 году Джон Хопфилд и Джеффри Хинтон были удостоены Нобелевской премии по физике за фундаментальные открытия, которые позволили внедрить машинное обучение с использованием искусственных нейронных сетей.
- В 2025 году методы прямого распространения были распространены на сверточные сети, показав, что обучение без обратного распространения ошибки может работать в задачах классификации изображений.
- По состоянию на 2026 год алгоритм обратного распространения ошибки остается стандартным алгоритмом обучения практически для всех моделей глубокого обучения, в то время как продолжаются исследования методов обучения без градиентов, локальных и параллельных методов, которые снижают затраты памяти и вычислительных ресурсов.
Ключевые моменты обратного распространения ошибки
- Упрощает структуру сети, удаляя взвешенные связи, оказывающие наименьшее влияние на обученную сеть.
- Вам необходимо изучить группу входных значений и значений активации, чтобы определить взаимосвязь между входными и скрытыми слоями единиц.
- Это помогает оценить влияние, которое данная входная переменная оказывает на выходные данные сети. Знания, полученные в результате этого анализа, должны быть представлены в правилах.
- Обратное распространение ошибки особенно полезно для глубоких нейронных сетей, работающих над подверженными ошибкам проектами, такими как распознавание изображений или речи.
- Обратное распространение ошибки использует цепные и степенные правила, что позволяет ему работать с любым количеством выходных сигналов.
лучшая практика обратного распространения ошибки
Обратное распространение ошибки в нейронной сети можно объяснить с помощью аналогии с «обувными шнурками». Обновления весов ведут себя подобно натяжению шнурка: слишком мало — и ничего не держится, слишком много — и что-то рвётся.
| Натяжение кружева | Что это значит во время обучения |
|---|---|
| Слишком мало напряжения | Недостаточное ограничение и слишком свободная посадка — модель плохо подходит. |
| Слишком большое напряжение | Слишком много ограничений (переобучение); слишком много времени (относительно медленный процесс); более высокая вероятность сбоя |
| Натягивание одного шнурка сильнее, чем другого. | Дискомфорт (предвзятость) — одна часть сети доминирует в процессе подбора. |
Из этой аналогии вытекают две практические привычки: масштабируйте входные данные перед обучением, чтобы ни один признак не оказывал большего влияния, чем остальные, и следите за ошибкой на валидационном тесте, чтобы снять напряжение до того, как начнётся переобучение.
Недостатки использования обратного распространения ошибки
- Фактическая производительность обратного распространения ошибки при решении конкретной проблемы зависит от входных данных.
- Алгоритм обратного распространения при интеллектуальном анализе данных может быть весьма чувствителен к зашумленным данным.
- При обработке мини-пакетов обратное распространение ошибки следует реализовывать с использованием матричного подхода;ping Приведение более одного примера за раз значительно замедляет работу.
- В глубоких нейронных сетях многократное умножение малых производных может сводить градиенты к нулю, поэтому самые ранние слои практически не обучаются — возникает проблема исчезающего градиента, описанная в [ссылка на описание проблемы]. Google Ускоренный курс машинного обучения.
Ничто из этого не исключает данный метод. Именно по этим причинам специалисты при переходе от неглубокой нейронной сети к более сложной сети обращаются к активациям ReLU, нормализации и тщательному планированию скорости обучения. глубокое обучение модели.
