信息论基础 自信息 如何度量你获得的信息量的大小，比如有人告诉你某个地方地震了，那么这个信息量对你来说比较大，因为地震不是经常发生；如果有人告诉你某个地方有雾霾，这个信息量就比较小，因为有雾霾这个事情很常见。 通过这个例子，我们可以知道，信息量的大小应该与某件事情发生的概率有关，
在学习AdaBoost之前，建议了解的预备知识，包括概率论（用于公式推导）、信息的基础知识，有利于理解算法思路的来龙去脉。此处附上原博客地址：https://blog.csdn.net/xierhacker/article/details/53463567 一.什么是熵Ⅰ.信息量首先考虑一个离散的随机变量x,当我们观察到这个变量的一个
一、理论概述 1）问题引出 先看如下几张图： 从上述图中可以看出，如果将3个图的数据点投影到x1轴上，图1的数据离散度最高，图3其次，图2最小。数据离散性越大，代表数据在所投影的维度上具有越高的区分度，这个区分度就是信息量。如果我们用方差来形容数据的离散性的话，就是数据方差越大，表示
