标签：编码 概率分布 建模 LZ77 深度 LZ78 随机变量 信息论 冗余

随机变量生成：一种从具体到抽象的建模

这种建模可以用多叉树表示，每一个树叶表示一个事件。

关于这种树的深度有如下性质和定理：

 

 

 这和熵的对数特征是吻合的。

 

我们当然希望树的深度尽量小。

树深度估计：

 

特殊情况（dyadic）下取等：

 

 

 

 

 非特殊情况：（根据Kraft不等式知其存在）

 

 

 

 

 

Shannon-Fano-Elias编码衍生出算术编码：

 

如果我们不知道概率分布，我们之前很多编码理论都将失效。那怎么办呢？

 

 

 前者对于数据量较大的情况可能还是比较乏力，这时后者似乎更优。

 

不知道概率分布时冗余估计：

神奇的是冗余最优化可以转化为信道容量问题：

 

 

 

Lempel-Ziv编码：

这个产生的过程跟微积分好像，似乎上帝总担心一个问题解决后人们就将其抛到脑后，进而人间又少了一种精妙的想法，这只得我们深思。

 

 主要思想是移动窗口产生字典，然后重复部分用编码替代，进而压缩。

只理解了第二种qwq。。。

 

 然后它是最优哒！

 

标签：编码,概率分布,建模,LZ77,深度,LZ78,随机变量,信息论,冗余
来源： https://www.cnblogs.com/yuhyuhy/p/_yuhyuhy_text_entropy_006.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。