1.大型的数据集合 2.随机梯度下降（Stochastic gradient descent） 随机梯度下降算法 3.小批量梯度下降（mini-Batch gradient descent） 三种梯度下降方法对比： 4.随机梯度下降收敛 5.Online learning 6.Map-reduce and data parallelism（减少映射、数据并行）

Hypothesis: Parameters: Cost Function: Goal: Gradient Descent: repeat until convergence{ } 梯度下降的线性回归： Details:

Descent（梯度下降） 梯度下降算法是将所有数据集都载入，计算他们所有的梯度，然后执行决策，（沿着梯度下降最快的方向进行更新）。 优缺点：可以快速进行下降收敛，但是要计算所有的梯度，计算量太大，数据集过大，GPU无法计算，除此之外，如果是凸函数，则可以收敛到最小值，其他情况下，可能会遇到局部最小值的情况 。 Stochastic Gradient Descent(SGD)(随机梯度下降） 随机梯度下降是

） 算法过程： 梯度下降算法特点：从不同起始点开始计算可能会达到不同的局部最优点（different local optimum） alpha-学习率（learning rate），代表梯度下降时的步长...、Gradient Descent for Linear Regression 将梯度下降运用到线性回归中： 将linear regression model中的J函数带入gradient descent

深度学习的一般性流程： 1. 构建网络模型结构 2. 选择损失函数 3. 选择优化器进行训练 梯度下降法(gradient descent)是一个最优化算法，常用于机器学习和人工智能当中用来递归性... : 使用全部数据集来计算梯度，并更新所有参数。效果稳定，对于凸优化能保证全局最优，对于非凸也能保证局部最优。但由于每次更新适用所有数据，消耗内存，效率较低。 Stochastic gradient