决策树原理 决策树（Decision Tree）是根据一系列规则对数据进行分类的过程。实际上决策树的生成过程就是使用满足划分准则的特征不断的将数据集划分为纯度更高，不确定性更小的子集的过程。对于当前数据集的每一次的划分，都希望根据某特征划分之后的各个子集的纯度更高，不确定性更小
什么是熵 - Entropy词源 — 最初来源于热力学Entropy来源于希腊语，原意：内向，即：一个系统不受外部干扰时往内部稳定状态发展的特性。定义的其实是一个热力学的系统变化的趋势。1923年，德国科学家普朗克来中国讲学用到entropy这个词，胡刚复教授看到这个公式，创造了“熵”字，因为“火”和热
我是在差分隐私下看到的，新解决方案的可用性肯定小于原有解决方案的可用性，也就是说信息的后续处理只会降低所拥有的信息量。那么如果这么说的话为什么还要做特征工程呢，这是因为该不等式有一个巨大的前提就是数据处理方法无比的强大，比如很多的样本要分类，我们做特征提取后，SVM效果很好
关于交叉熵在loss函数中使用的理解 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有
目录 一.信息技术。 二.信息革命的特点和影响。 三.不同角度下的信息化。 四.信息的概念。 五.信息的性质与分类。 六.信息的功能。 七.信息的过程。 八.信息的测度方式。 九.与信息相关的概念。 一.信息技术。 信息技术是以信息科学的原理和方法研究信息的产生，传递，利用的
原文地址：http://blog.sciencenet.cn/home.php?mod=space&do=blog&id=275997 上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁褓之中。但是通信技术已经有了相当的发展。从十九世纪中叶，电报就已经很普遍了。电报所用的摩斯码（Morse Code），就是通信技术的一项杰作。摩斯码用
这是一个啰嗦鬼写的啰嗦笔记，仅用来备份而已。 信息熵 参考：https://baike.baidu.com/item/%E9%A6%99%E5%86%9C%E7%86%B5/1649961?fr=aladdin 一条信息的信息量大小和它的不确定性有直接的关系。 比如说，我们要搞清楚一件非常不确定的事，或是一无所知的事情，需要了解大量的信息。相
自信息量 接收到a的不确定性 \[{\rm{I}}({a}) = {\log _k}{1 \over {p({a})}} \]条件自信息量 接收端收到b后，发送端是否为a尚存的不确定性 \[{\rm{I}}(a{\rm{|b}}) = {\log _k}{1 \over {p(a|b)}} \]互信息量 收到b后，消除的不确定性为先验的不确定性减去尚存的不确定性，即收信者获
ref: https://blog.csdn.net/b1055077005/article/details/100152102 总结一下 加深记忆 一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数，这是为什么呢？ 交叉熵简介： 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性，要理解交叉熵，需要先了解以
信息量 它是用来衡量一个事件的不确定性的；一个事件发生的概率越大，不确定性越小，则它所携带的信息量就越小。假设\(X\)是一个离散型的随机变量，其取值集合为\(X\) = \(x_0，x_1...x_n\),其概率分布函数为\(p(x) = Pr(X = x),x\in X\),则定义事件\(X = x_0\)的信息量为： \[I(x_i)=-log(p(
目录一、信息论熵信源信息量信息熵条件熵信息增益（互信息）信息增益比相对熵（KL散度）最大熵原理二、数理统计和概率论的区别统计推断方式参数估计假设检验 一、信息论 {{uploading-image-498317.png(uploading...)}} 信息论处理的是客观世界中的不确定性。 通信的基本问题是在点精确地
信息：消息中包含的有效内容 度量信息量的原则： 能度量任何消息，并且与消息的种类无关。 度量方法应该与消息的重要程度无关。 消息中所含信息量与消息内容的不确定性有关。 消息所表达的事件越不可能发生，信息量越大。 度量信息量的方法： 事件的不确定程度可以用其出现
信息论（信息量&熵） 对于离散的随机变量\(x\)，在我们观察这个\(x\)的值的时候，我们接受的信息如何计算？ 信息量 信息量表示学习到\(x\)值时的“惊讶程度”，计算如下： \[ h(x)=-\log_2p(x) \] \(p(x)\)表示\(x\)发生的概率，\(h(x)\)表示信息量，单位为bit。基于传统我们选择以2为底的\(log\)函
根据极化码的原始论文中提出的信道容量为 它是一种信道速率的丈量,标志着信道速率的上限，，即信道的输入与输出的互信息量的最大值； 所谓的互信息定义是： 设两个随机变量的联合分布为，边缘分布分别为，互信息 是联合分布 与边缘分布 的相对熵，即 点赞 收藏 分享
目录 机器学习基础--信息论相关概念总结以及理解 1. 信息量 2. KL散度 机器学习基础--信息论相关概念总结以及理解 摘要： 熵（entropy）、KL 散度（Kullback-Leibler (KL) divergence）和交叉熵（cross-entropy）以及JS散度，在深度学习以及机器学习很多地方都用的到，尤其是对于目标函数和
1.1 "计算机"基本介绍 一、为什么需要计算机 对于现在的我们来说，每天要处理的信息量是巨大的，所以如果还是人工的来对这些数据进行处理，那么效率是很低的。此时计算机的出现就可以帮助我们的来提高处理数据的速度。
熵定义：随机变量的概率分布对应的 **信息量的平均值 ** 就叫做随机变量的熵。 我们暂时把信息看做在学习x的值时候的”惊讶程度” 比如，苹果一定落地，信息量就很小。苹果落到某个盒子，熵也就大了，信息量比较大，不确定性也比较大了。 熵越大随机变量的不确定性就越大。 id3算法的核心就是
数据挖掘导论-第一章-绪论 为什么会出现数据挖掘？ 因为随着社会不断快速发展，信息量在不断增加，由于信息量太大 ，而无法使用传统的数据分析工具和技术处理它们； 即使数据集相对较小，但由于数据本身有一些非传统特点，也不能使用传统的方法进行处理。 什么是数据挖掘？ 数据挖掘是一种技
一、香农信息量、信息熵、交叉熵香农信息量设p为随机变量X的概率分布，即p(x)为随机变量X在X=x处的概率密度函数值，随机变量X在x处的香农信息量定义为： 其中对数以2为底，这时香农信息量的单位为比特。香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小。如随机事件"中
通过本节课的学习，我了解了信息方面，计算机信息处理方面，图灵机方面的知识。现总结如下： 一.信息 1.信息的定义：信息的定义目前没有统一的、能为各界普遍认同的定义。几个比较有代表性的有 ： （1）维纳：将信息提到了最基本的概念的位置，提出信息是信息，不是物质也不是能量。 （2）信息是差异
归纳、演绎、抽象、构建、分析、综合 信息的基本处理手段 目的是降低大脑接收信息、处理信息、整理信息的负担。 信息量越大，熵越大，大脑的负担越大。 通过上述处理，降低了信息量，对大脑的信息处理带宽进行了匹配； 从而能更有效的进行思考。
https://spaces.ac.cn/archives/5448/comment-page-1?replyTo=9054 话在开头 # 在深度学习等端到端方案已经逐步席卷NLP的今天，你是否还愿意去思考自然语言背后的基本原理？我们常说“文本挖掘”，你真的感受到了“挖掘”的味道了吗？ 无意中的邂逅 # 前段时间看了一篇关于无监督句法
信息论：对一个信号包含信息的多少进行量化。其基本想法是：一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息。 一、根据信息论的基本想法来量化信息，会有： 1、非常可能发生的事件信息量要比较少，并且极端情况下，确保能够发生的事件应该没有信息量。 2、
1. 信息量和信息熵 熵是表征系统混乱度/不确定度的物理量，在热力学、信息学中都有其各自的含义，而在机器学习更多沿用了信息熵的概念，即解释随机变量分布所需要的信息量（下文给出数学定义），或者从信息编码的角度来说，用某种方式对随机变量分布进行编码所需要的编码信息长度。 假设
根据各个指标获得综合指标时，由于各个指标对综合指标的贡献度不同，相应权重也应不同，对综合指标贡献大的指标更重要，应该分配更大的权重。如何确定各个指标的权重，这里介绍两种方法：熵值法和pca确定权重。也可用于特征工程中确定特征权重。 一、熵值法 1、熵的概念 信息论中，
