神经网络中的反向传播：机器学习算法
伊芙琳·克拉克
在学习反向传播神经网络（BPNN）之前，我们先了解一下：
什么是人工神经网络？
神经网络是一组连接的 I/O 单元，其中每个连接都具有与其计算机程序相关的权重。它可以帮助您从大型数据库中构建预测模型。该模型建立在人类神经系统之上。它可以帮助您进行图像理解、人类学习、计算机语音等。
什么是反向传播？
反向传播 是神经网络训练的本质。它是一种根据前一个时期（即迭代）获得的错误率对神经网络权重进行微调的方法。适当调整权重可以降低错误率，并通过提高模型的泛化能力使其更加可靠。
神经网络中的反向传播是“误差反向传播”的简称。它是训练人工神经网络的标准方法。该方法有助于计算损失函数相对于网络中所有权重的梯度。
反向传播算法的工作原理
神经网络中的反向传播算法通过链式法则计算单个权重的损失函数的梯度。与原生直接计算不同，它可以高效地一次计算一层。它计算梯度，但没有定义如何使用梯度。它概括了增量法则中的计算。
考虑以下反向传播神经网络示例图来理解：
- 输入 X，通过预连接路径到达
- 输入使用真实权重 W 建模。权重通常是随机选择的。
- 计算从输入层到隐藏层再到输出层的每个神经元的输出。
- 计算输出中的误差
ErrorB= Actual Output – Desired Output
- 从输出层返回到隐藏层来调整权重，从而减少误差。
不断重复该过程，直到达到所需的输出
为什么我们需要反向传播？
反向传播最突出的优点是：
- 反向传播快速、简单且易于编程
- 除了输入的数字之外，它没有需要调整的参数
- 这是一种灵活的方法，因为它不需要有关网络的先验知识
- 这是一种通常很有效的标准方法
- 不需要特别提及要学习的功能的特性。
什么是前馈网络？
前馈神经网络是一种人工神经网络，其中节点永远不会形成循环。这种神经网络具有输入层、隐藏层和输出层。它是第一种也是最简单的人工神经网络类型。
反向传播网络的类型
两种类型的反向传播网络是：
- 静态反向传播
- 循环反向传播
静态反向传播
它是一种反向传播网络，可以生成地图。ping 静态输入对应静态输出。它适用于解决静态分类问题，例如光学字符识别。
循环反向传播
数据挖掘中的循环反向传播是前馈直到达到固定值。之后，计算误差并向后传播。
这两种方法的主要区别在于：地图ping 在静态反向传播中速度很快，而在循环反向传播中速度则不是静态的。
反向传播的历史
- 1961 年，J.Kelly、Henry Arthur 和 E.Bryson 在控制理论的背景下推导出连续反向传播的基本概念。
- 1969年，Bryson和Ho提出了多阶段动态系统优化方法。
- 1974年，Werbos提出了在人工神经网络中应用这一原理的可能性。
- 1982年，霍普菲尔德提出了他的神经网络的想法。
- 1986年，在David E. Rumelhart，Geoffrey E. Hinton，Ronald J. Williams的努力下，反向传播获得了认可。
- 1993年，万成为第一个利用反向传播方法赢得国际模式识别大赛冠军的人。
反向传播关键点
- 通过对训练网络影响最小的元素加权链接来简化网络结构
- 您需要研究一组输入和激活值来建立输入层和隐藏单元层之间的关系。
- 它有助于评估给定输入变量对网络输出的影响。从此分析中获得的知识应以规则的形式呈现。
- 反向传播对于处理容易出错的项目（例如图像或语音识别）的深度神经网络特别有用。
- 反向传播利用链式和幂次规则，使得反向传播可以对任意数量的输出进行运行。
反向传播的最佳实践
神经网络中的反向传播可以用“鞋带”类比来解释
张力太小 =
- 约束不够，非常松散
压力过大 =
- 约束过多（过度训练）
- 花费太多时间（相对较慢的过程）
- 破裂的可能性更高
拉一根鞋带的次数多于另一根鞋带 =
- 不适（偏见）
使用反向传播的缺点
- 反向传播对特定问题的实际性能取决于输入数据。
- 数据挖掘中的反向传播算法对噪声数据非常敏感
- 您需要使用基于矩阵的方法进行反向传播，而不是小批量方法。
结语
- 神经网络是一组连接在一起的 I/O 单元，其中每个连接都有与其计算机程序相关的权重。
- 反向传播是“误差反向传播”的简称。它是训练人工神经网络的标准方法
- 反向传播算法 机器学习 快速、简单且易于编程
- 前馈 BPN 网络是一种人工神经网络。
- 反向传播网络有两种类型：1）静态反向传播 2）循环反向传播
- 1961 年，J.Kelly、Henry Arthur 和 E.Bryson 在控制理论的背景下推导出连续反向传播的基本概念。
- 反向传播 数据挖掘 通过删除对训练网络影响最小的加权链接来简化网络结构。
- 它对于处理容易出错的项目（例如图像或语音识别）的深度神经网络特别有用。
- 反向传播的最大缺点是它对噪声数据很敏感。
