标签：函数 权重 Demo 梯度 神经网络 最小值 偏移 基础课 初步设计

大家好~我开设了“深度学习基础班”的线上课程，带领同学从0开始学习全连接和卷积神经网络，进行数学推导，并且实现可以运行的Demo程序

线上课程资料：
本节课录像回放
加QQ群，获得ppt等资料，与群主交流讨论：106047770

本系列文章为线上课程的复盘，每上完一节课就会同步发布对应的文章

本文为第二节课：“判断性别”Demo需求分析和初步设计（下1）的复盘文章

本课程系列文章可进入索引查看：
深度学习基础课系列文章索引

• 回顾相关课程内容
• 主问题：什么是损失函数
• 主问题：什么是随机梯度下降

回顾相关课程内容

• 第二节课：“判断性别”Demo需求分析和初步设计（中）
  • 什么是神经网络 ？
    
  • 为什么引入神经网络？
  • 前向传播算法包括哪些步骤？

主问题：什么是损失函数

为什么引入损失函数？

• 虽然神经网络的未知量的数量比起神经元来说更多，但如果推理的样本数量比神经网络的未知量的数量更多时，该怎么办？
  • 继续增加神经网络中的权重、偏移数量（如增加层、增加每层的神经元）？
    不能，因为：
    这会增加计算成本；
    样本数量可以任意多，但无法无限地增加神经网络中的权重、偏移数量
    所以应该保持神经网络中的权重、偏移数量不变
• 在训练后仍然会得到一组权重、偏移，但在推理阶段对于每个样本推理的输出值仍然等于真实值吗？
  不等于
• 我们希望的结果是什么？
  每个样本推理的输出值尽量接近真实值
• 因此，在训练时需要得到一组合适的权重、偏移，使得每个样本推理的输出值尽量接近真实值
• 那么，如何具体判断得到的一组权重、偏移是合适的呢？
  需要引入损失函数

  标签：函数,权重,Demo,梯度,神经网络,最小值,偏移,基础课,初步设计
  来源： https://www.cnblogs.com/chaogex/p/16638867.html

  本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
  2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
  3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
  4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
  5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。