ICode9

精准搜索请尝试: 精确搜索
首页 > 数据库> 文章详细

一文弄明白Redis布隆过滤器

2021-12-12 14:02:26  阅读:161  来源: 互联网

标签:bf 127.0 0.1 Redis 布隆 days 6379 过滤器 integer


简介

布隆过滤器是一种概率型数据结构(Probabilistic data structures),对插入和查询比较高效,能够计算 “某样东西 一定不存在 或者 可能存在 ”。

  • 如果存在那就是可能存在(hash的碰撞)
  • 如果不存在那就一定不存在

相比于传统的 List、Set、Map 等数据结构,它更高效插入和查询、占用空间更少,但是缺点是其返回的结果可能是误判存在的,合理设置长度以及hash 函数的个数可以提高准确率。

布隆过滤器原理

布隆过滤器示意图.png

  • 向布隆过滤器添加元素 key 时, 会使用多个 hash 函数对 key 进行 hash, 算出一个整数索引值,然后对位数据长度进行取模运算,得到一个位置为 1,每个 hash 函数都会得到一个位置
  • 判断 key 是否存在,与上述同理,进行 hash 取模运算,判断数组这几个位置是否都为1,只要有一个位为0,说明这个 key 不存在。如果这几个位置都为 1 ,并不一定说明一定存在。
  • 如果这个位数组比较稀疏,判断正确的概率会很大,反之, 概率会降低

基本用法

127.0.0.1:6379> bf.add days day1
(integer) 1 
127.0.0.1:6379> bf.add days day2
(integer) 1 
127.0.0.1:6379> bf.exists days day1
(integer) 1 
127.0.0.1:6379> bf.exists days day2
(integer) 1 
127.0.0.1:6379> bf.exists days day3
(integer) 0 
127.0.0.1:6379> bf.madd days day4 day5 day6 
1)(integer) 1 
2)(integer) 1 
3)(integer) 1 
127.0.0.1:6379> bf.mexists days day4 day5 day6 day7 
1)(integer) 1 
2)(integer) 1 
3)(integer) 1 
4)(integer) 0
复制代码

Redis还提供了自定义参数布隆过滤器,参数如下:

  • error_rate: 错误率,数值越小,所需空间越大,默认值:0.01
  • initial_size: 预计放入元素的数量,当数量超过这个值后,误判率会上升,默认值:100

优缺点

布隆过滤器的优点显而易见:

  • 不需要存储数据,只用比特表示,因此在空间占用率上有巨大的优势
  • 检索效率搞,插入和查询的时间复杂度都为 O(K)(K 表示哈希函数的个数)
  • 哈希函数之间相互独立,可以在硬件指令层次并行计算,因此效率较高。

缺点:

  • 存在不确定的因素,无法判断一个元素是否一定存在,所以不适合要求 100% 准确率的场景
  • 只能插入和查询元素,不能删除元素。


 

 

标签:bf,127.0,0.1,Redis,布隆,days,6379,过滤器,integer
来源: https://blog.csdn.net/q1472750149/article/details/121886379

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有