算法的优化：反向传播高效计算误差梯度

各位听众朋友大家好，我是主播欧锋。

算法的优化

优化(Optimization)是机器学习中一个关键的数学概念:对于许多问题,可以找到一个代价函数(cost function),而问题的解决方案就是代价最低时的系统状态。对于霍晋菲尔德网络来说,代价函数就是能量.目标是找到使网络能量最小化的状态。对于前馈网络,用于学习的常用代价函数是训练集输出层上的方差之和“梯度下降”(gradient descent)是一种能够最小化代价函数的通用过程,实现方法是对网络中的权重沿降低代价最快的方向进行逐步修改。'如果将代价函数看作山脉,那么梯度下降就是选择向山脚下

滑动的最快路径。鲁姆哈特发现了如何通过被称为“误差的反向传播”(backprop-agation of errors),或简称为“反传"(backprop)的过程来计算网络中博个权重的梯度(见方框8.1)。从误差已知的输出层开始,可以很容易地计算出指向输出单元的输人权重的梯度。下一步就是使用输出层梯度来计算上一层权重的梯度 ,以此类推,逐层回到输人层。这是一种高效计算误差梯度的方法。

尽管不像玻尔兹曼机学习算法那样拥有优雅和深厚的物理学根源，但是反向传播的效率更高，并且推动该领域取得了快速进展，由大卫卢姆哈特，杰弗里兴顿和罗纳德威廉姆斯合作的经典反向传播，论文1986年发表在自然杂志上，迄今为止该论文已经在其他研究论文中被引用超过4万次。

世界上发表所有论文中有一半从未被引用过，甚至连作者自己都不饮用。一篇被引用了100次的论文都会在领域内产生巨大反响，所以很显然这篇有关反向传播的文章是一颗重磅炸弹。

20191004