标签：基于 经验 回放 下个 元组 学习 replay 缓冲区 强化

我们与环境进行互动并且在每个时间步，获得一个动作，状态，奖励，下个状态的元组，学完之后就丢弃，在下个时间步移到下个元组

我们将每个经验元组储存在这个缓冲区中，然后从中抽取一小批元组进行学习，因此我们能够从单个元组中多次学习规律。回顾罕见的状态并充分地利用经验；另一个改善是，过往的经验中每个动作A都以某种方式影响下个状态S，意味着一系列经验元组可能关系非常紧密，如果按照顺序学习会面临受到这种联系影响的风险，而借助replay buffer我们可以随机地从缓冲区取样，不一定必须是储存元组的同一顺序，这有助于打破相互之间的联系，并最终防止动作值严重振动或发散

replay使得强化学习可以用监督学习的方式进行训练，或者我们还可以使罕见或者更重要的经验元组优先级更高

标签：基于,经验,回放,下个,元组,学习,replay,缓冲区,强化
来源： https://blog.csdn.net/weixin_43236007/article/details/114950301

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。