标签：03 training loss nan 28 2021 np validation accuracy
- learning accuracy和loss不一致（loss低的时候，accuracy不够高）的可能原因：loss和学习目标不一致
- 关注细节，如validation loss和training loss: 如果一开始时validation loss和training loss非常接近，突然在某一个epoch后两个loss都有明显下降，并且是consistent的，则考虑这里会有一个很有用的变量；若training loss有明显下降而validation loss没有，则考虑两个数据集分割有偏差或特征的选择有偏差
- 对特征做离散化 可能发生的异常情况：
- 对于空值、无穷大值、无穷小值：将它们单独分成一类，将它们都放进一个桶内（对于np.nan，每出现一个就新建一个类，故需要去重之后将所有的np.nan人工加到同一类中）
- embedding大小、分箱个数
- if else
- 非线性激活函数可能浪费很多时间
- GLU，Xavier==> 输出时，方差一致
- 读文献不能以读懂全部代码的功能为目的，而应以基本读懂代码，可以对它做修改、有产出为目的。
标签：03,training,loss,nan,28,2021,np,validation,accuracy 来源： https://blog.csdn.net/weixin_42365868/article/details/115285606
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。