学科分类 - 《中国大百科全书》第三版网络版

高级搜索

专业板块专题板块大众板块

首页 . 理学 . 统计学

梯度下降/ gradient descent // gradient descent /

按照梯度下降方向的数值优化方法。

ADMM算法/ alternating direction method of multipliers /alternating direction method of multipliers
梯度下降
将约束凸优化问题转化为无约束优化问题，并将复杂目标函数分解，通过迭代优化分解后的简单函数得到最终结果的算法。
坐标下降法/ coordinate descent /coordinate descent
梯度下降
一种寻求函数局部极小值的非梯度优化算法。
坐标梯度下降法/ coordinate gradient descent /coordinate gradient descent
梯度下降
梯度投影法和坐标下降法结合的优化算法。
随机梯度下降/ stochastic gradient descent; SGD /stochastic gradient descent; SGD
随机梯度下降
依据损失函数的梯度，在一次迭代中对每一个训练实例进行预测，并重复迭代该过程到一定的次数，从而最小化一个函数的过程。在机器学习中，可以利用该方法来最小化训练模型中的误差，即每次迭代时完成一次评估和更新。
动量法/ momentum method /momentum method
动量法
一种参数更新时考虑历史梯度信息的改进的随机梯度下降方法。
反向传播/ back propagation;BP /back propagation;BP
反向传播
一种与最优化方法结合使用的，通过逐层计算损失函数相对于神经网络权值参数的梯度，来训练人工神经网络的快速计算偏导数的方法。
学习率/ learning rate /learning rate
学习率
梯度下降方法中的学习步长。