标签：实现 误判 布隆 int 须要 fpp 过滤器 bloomFilter

guava提供的实现方式

1、引入Guava pom配置

<dependency>
  <groupId>com.google.guava</groupId>
  <artifactId>guava</artifactId>
  <version>29.0-jre</version>
</dependency>

2、代码实现

import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;

public class BloomFilterCase {

  /**
   * 预计要插入多少数据
   */
  private static int size = 1000000;

  /**
   * 指望的误判率
   */
  private static double fpp = 0.01;

  /**
   * 布隆过滤器
   */
  private static BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), size, fpp);


  public static void main(String[] args) {
    // 插入10万样本数据
    for (int i = 0; i < size; i++) {
      bloomFilter.put(i);
    }

    // 用另外十万测试数据，测试误判率
    int count = 0;
    for (int i = size; i < size + 100000; i++) {
      if (bloomFilter.mightContain(i)) {
        count++;
        System.out.println(i + "误判了");
      }
    }
    System.out.println("总共的误判数:" + count);
  }
}

运行结果：

10万数据里有947个误判，约等于0.01%，也就是咱们代码里设置的误判率：fpp = 0.01。

核心BloomFilter.create方法

这里有四个参数：

    funnel：数据类型(通常是调用Funnels工具类中的)

    expectedInsertions：指望插入的值的个数

    fpp：误判率(默认值为0.03)

    strategy：哈希算法

咱们重点讲一下fpp参数：fpp误判率

情景一：fpp = 0.01

误判个数：947

 占内存大小：9585058位数

情景二：fpp = 0.03（默认参数）

误判个数：3033

 占内存大小：7298440位数

 情景总结

    误判率能够经过fpp参数进行调节

    fpp越小，须要的内存空间就越大：0.01须要900多万位数，0.03须要700多万位数。

    fpp越小，集合添加数据时，就须要更多的hash函数运算更多的hash值，去存储到对应的数组下标里。（忘了去看上面的布隆过滤存入数据的过程）

上面的numBits，表示存一百万个int类型数字，须要的位数为7298440，700多万位。理论上存一百万个数，一个int是4字节32位，须要481000000=3200万位。若是使用HashMap去存，按HashMap50%的存储效率，须要6400万位。能够看出BloomFilter的存储空间很小，只有HashMap的1/10左右

上面的numHashFunctions表示须要几个hash函数运算，去映射不一样的下标存这些数字是否存在（0 or 1）

 

Redis提供的实现方式

上面使用Guava实现的布隆过滤器是把数据放在了本地内存中。分布式的场景中就不合适了，没法共享内存，这里使用Redis封装好的客户端工具Redisson

1、引入pom配置

<dependency>
  <groupId>org.redisson</groupId>
  <artifactId>redisson-spring-boot-starter</artifactId>
  <version>3.13.4</version>
</dependency>

2、代码实现

public class RedissonBloomFilter {

  public static void main(String[] args) {
    Config config = new Config();
    config.useSingleServer().setAddress("redis://127.0.0.1:6379");
    config.useSingleServer().setPassword("1234");
    //构造Redisson
    RedissonClient redisson = Redisson.create(config);

    RBloomFilter<String> bloomFilter = redisson.getBloomFilter("phoneList");
    //初始化布隆过滤器：预计元素为100000000L,偏差率为3%
    bloomFilter.tryInit(100000000L,0.03);
    //将号码10086插入到布隆过滤器中
    bloomFilter.add("10086");

    //判断下面号码是否在布隆过滤器中
    //输出false
    System.out.println(bloomFilter.contains("123456"));
    //输出true
    System.out.println(bloomFilter.contains("10086"));
  }
}

 转自：https://www.shangmayuan.com/a/cd0aabef37ca475f974e2e23.html

作者：IT老暖男

标签：实现,误判,布隆,int,须要,fpp,过滤器,bloomFilter
来源： https://www.cnblogs.com/hzzjj/p/15506577.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。