标签：不确定性 交叉 人工智能 导论 增益 信息 信息熵 随机变量

【人工智能导论：模型与算法】

P124 交叉熵；梯度下降法；学习率

P127 信息熵；信息增益

这几个知识点需要科普一下。

交叉熵：度量两个概率分布间的差异性信息。

信息熵：系统有序化程度的一个度量。香农用信息熵的概念来描述信源的不确定度。

信息熵：表示随机变量的不确定性。

条件熵：在一个条件下，随机变量的不确定性。

信息增益：熵 - 条件熵。表示在一个条件下，信息不确定性减少的程度。

信息增益到底怎么理解呢？ - 知乎 (zhihu.com)

标签：不确定性,交叉,人工智能,导论,增益,信息,信息熵,随机变量
来源： https://www.cnblogs.com/hbuwyg/p/15610966.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。