标签：set HyperLogLog 错误率 数据类型 元素 Redis mypf4 基数

HyperLogLog 是用来做基数统计的算法。

先了解下什么是基数。
比如数据集{1, 3, 5, 7, 5, 7, 8}，那么这个数据集的基数集为{1, 3, 5 ,7, 8}，基数(不重复元素)为5。

如果，现在需要统计一下网页的UV，那么就会涉及到去重了，这种场景就很适合用HyperLogLog。

这不就是set集合嘛？我用set来得出不重复的元素也可以呀。

没错，是可以，但是当数据量非常大的时候，你这个set是不是会占用非常大的内存呢？
如果用HyperLogLog来处理就好了，因为它计算基数所需要的空间是一定的，只要12kb，就可以计算接近 2^64 个不同元素的基数。

但是注意在这个数量级下，是会存在0.81%的错误率的，所以说具体还得看业务是否可以接受这样的错误率。
像上面说的统计UV的场景，这点错误率是可以忽略的。

一、pfadd

将所有元素参数添加到 HyperLogLog 数据结构中。

pfadd mypf 1 2 3 a b c 3 4 5 c d a

二、pfcount

返回给定 HyperLogLog 的基数估算值。

pfcount mypf

可以看到，返回的是9，也就是不重复的元素数量有9个。

三、pfmerge

将多个 HyperLogLog 合并为一个 HyperLogLog ，合并后的 HyperLogLog 的基数估算值是通过对所有 给定 HyperLogLog 进行并集计算得出的。

pfmerge mypftotal mypf3 mypf4

把mypf3、mypf4合并到mypftotal 上。

标签：set,HyperLogLog,错误率,数据类型,元素,Redis,mypf4,基数
来源： https://blog.51cto.com/u_13407532/2964425

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。