梯度（gradient）到底是个什么东西？物理意义和数学意义分别是 …
我会使用尽量少的数学符号描述 梯度， 着重于意义而非计算。一个直观的例子，在机器学习领域有个术语叫「梯度下降」，你可以想象在群山之中，某个山的半山腰有只小兔子打算使用梯度 …
梯度（gradient）到底是个什么东西？物理意义和 ... - 知乎
为了降低随机梯度的方差，从而使得迭代算法更加稳定，也为了充分利用高度优化的矩阵运算操作，在实际应用中我们会同时处理若干训练数据，该方法被称为小批量梯度下降法 (Mini- Batch …
梯度（gradient）到底是个什么东西？物理意义和数学意义分别是 …
这篇回答节选自我的专栏 《机器学习中的数学：微积分与最优化》，和大家一起谈谈方向导数和梯度。 欢迎关注我的知乎账号 @石溪 ，将持续发布机器学习数学基础及算法应用等方面的精彩 …
梯度（gradient）到底是个什么东西？物理意义和数学意义分别是 …
梯度是雅可比矩阵的一种特殊形式，当m=1时函数的雅可比矩阵就是梯度，这个概念原是为场论设定的，任何场都可以用来理解梯度，后来被引用到数学中用来指明函数在指定点的变量率最快 …
如何理解 natural gradient descent? - 知乎
看到一篇文章写得非常浅显易懂： What is the natural gradient, and how does it work? 总结一下： 拿神经网络中的反向传播算法举例，我们计算各个权值w关于损失函数的导数，得到一个梯度 …
为什么ppo优于policy gradient? - 知乎
2. policy gradient 缺点 1）训练慢 policy gradient 是on-policy 方法，只能通过和环境的不断互动，拿到当前的反馈来更新agent。 这就意味要花大量时间在采样上，数据利用率低，训练非常 …
温故知新——梯度下降（Gradient Descent） - 知乎
梯度下降（Gradient Descent）又称最速下降，是迭代法的一种，可以用于求解最小二乘法(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient …
如何理解随机梯度下降（stochastic gradient descent，SGD）？
随机梯度下降 Stochastic Gradient Descent SGD （Vinilla基础法/Momentum动量法） 一开始SGD没有动量，叫做Vanilla SGD，也就是没有之前时刻的梯度信息。 所以 m_t=\eta G_t （ …
机器学习 | 近端梯度下降法 (proximal gradient descent)
近端梯度下降法是众多梯度下降 (gradient descent) 方法中的一种，其英文名称为proximal gradident descent，其中，术语中的proximal一词比较耐人寻味，将proximal翻译成“近端”主要 …
梯度累积两次，跟batch size 增大2倍，在多数情况下，效果一样吗？
实验发现2：最近的研究者实验发现，在总的batch_size*gradient accumulation下相同的情况下，除了loss会大，梯度累积越大，最终导致L2 Norm越大，L2Norm越大，说明权重越大，那么 …