是什么
反向传播(Backpropagation)是训练神经网络的核心算法,用来计算各层参数对损失函数的梯度。
训练通常分两步:
- 前向传播:得到预测值和损失
- 反向传播:利用链式法则求梯度,再更新参数
W = W - 学习率 × ∂Loss/∂W代表人物
- Paul Werbos(1974):最早提出相关思想
- David Rumelhart、Geoffrey Hinton、Ronald Williams(1986):系统推广
核心理解
反向传播不是网络结构,而是几乎所有深度学习模型都依赖的训练方法。