深度学习的优化器（各类 optimizer 的原理、优缺点及数学推导）

深度学习中的优化器均采用了梯度下降的方式进行优化，所谓炼丹我觉得优化器可以当作灶，它控制着火量的大小、形式与时间等。首先我们来一下看最初级的灶台（100-1000元）名字叫做批梯度下降，实际上每次迭代会使用全部的数据来更新梯度（应该是取所有数据的平均梯度），具体公式如...

深入浅出 Pytorch 系列 — 优化器的选择(1) SGD 和 SGDM

携手创作，共同成长！这是我参与「掘金日新计划·8月更文挑战」的第15天，点击查看活动详情梯度下降梯度下降(Gradientdescent）是一个一阶最优化算法，通常也称为梯度下降法，要使用梯度下降法找到一个函数的局部极小值，向函数上当前点对应梯度...