标签：一次 梯度 batch 更新 学习 minibatch 深度 size

鉴于自己对minibatch一直以来的误解，说明一下minbatch的具体做法。

batch是一次运行所有数据集，只更新一次梯度下降

minibatch是一次运行一个minibatch，更新一次梯度，整个数据集，会更新多次，通常来说，运行更快。 原因可能是w的维数小，参数数量不多。

如下图所示： 右边的图J^{t}可能会上升，因为训练的样本不一样，之间会产生噪音误差，但是总体趋势是下降的。

batch size的选择：

如果是整个训练集，他会不断的收敛到最小，参数过多。

batch size =1，随机梯度下降，不一定会收敛，同时没有用到向量的并行化。

标签：一次,梯度,batch,更新,学习,minibatch,深度,size
来源： https://www.cnblogs.com/irisinsnow/p/15358394.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。