ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

Java手动实现布隆过滤器(BitSet)

2020-01-27 17:38:54  阅读:440  来源: 互联网

标签:Java String 布隆 filter add BitSet https 过滤器 cn


1.首先我们需要:  

  1. 一个合适大小的位数组保存数据     BitSet

  2. 几个不同的哈希函数      通过随机种子seed定制不同的hash函数

  3. 添加元素到位数组(布隆过滤器)的方法实现           add方法

  4. 判断给定元素是否存在于位数组(布隆过滤器)的方法实现。          contains方法

 

2.其次我们需验证布隆过滤器,判正可能出错的这一点,在代码中进行了实现

详情见注释:

import java.util.BitSet;

/**
 * 布隆过滤器:用BitSet实现,建议先了解BitSet数据结构的常见方法。
 */
public class BloomFilter {

    /**
     * 位数组的大小
     */
//    private static final int DEFAULT_SIZE = 2 << 24;   代表bitset中实际位数的总个数,这种情况个数很多很多基本布隆不会判断失误
    private static final int DEFAULT_SIZE = 5;   //只有5位的情况下,布隆容易判断错误。

    /**
     * 通过这个数组可以创建 6 个不同的哈希函数
     */
    private static final int[] SEEDS = new int[]{3, 13, 46, 71, 91, 134};

    /**
     * 位数组。数组中的元素只能是 0 或者 1
     */
    private BitSet bits = new BitSet(DEFAULT_SIZE);

    /**
     * 存放包含 hash 函数的类的数组
     */
    private SimpleHash[] func = new SimpleHash[SEEDS.length];

    /**
     * 初始化多个包含 hash 函数的类的数组,每个类中的 hash 函数都不一样
     */
    public BloomFilter() {
        // 初始化多个不同的 Hash 函数
        for (int i = 0; i < SEEDS.length; i++) {
            func[i] = new SimpleHash(DEFAULT_SIZE, SEEDS[i]);
        }
    }

    /**
     * 添加元素到位数组
     */
    public void add(Object value) {
        for (SimpleHash f : func) {
            bits.set(f.hash(value), true);
        }
    }

    /**
     * 判断指定元素是否存在于位数组
     */
    public boolean contains(Object value) {
        boolean ret = true;
        for (SimpleHash f : func) {
            ret = ret && bits.get(f.hash(value));
        }
        return ret;
    }

    /**
     * 静态内部类。用于 hash 操作!
     */
    public static class SimpleHash {

        private int cap;
        private int seed;

        public SimpleHash(int cap, int seed) {
            this.cap = cap;
            this.seed = seed;
        }

        /**
         * 计算 hash 值
         */
        public int hash(Object value) {
            int h;
            return (value == null) ? 0 : Math.abs(seed * (cap - 1) & ((h = value.hashCode()) ^ (h >>> 16)));
            //通过混入seed的值来产生5种不同的hash函数。
        }


        public static void main(String[] args) {
            String value1 = "https://javaguide.cn/";  //故意混淆布隆过滤器,检测其准确性。
            String value2 = "https://github.com/Snailclimb";//干扰准确性

            String value3 = "https://jaavguide.cn/";
            String value4 = "https://javaguie.cn/";
            String value5 = "https://javaguid.cn/";
            String value6 = "https://javagide.cn/";

            String value10 = "https://javavguide.cn/";//这个值来检测 当布隆过滤器判断错误的情况

            BloomFilter filter = new BloomFilter();
            System.out.println(filter.contains(value1));
            filter.add(value1);
            filter.add(value2);
            filter.add(value3);
            filter.add(value4);
            filter.add(value5);
            filter.add(value6);
            System.out.println(filter.contains(value1));
            System.out.println(filter.contains(value3));
            System.out.println(filter.contains(value10));     //这个值来检测 当布隆过滤器判断错误的情况
                                                             //输出true即为判断失误的情况。


        }

    }
}

 

TheGreatKe 发布了12 篇原创文章 · 获赞 3 · 访问量 591 私信 关注

标签:Java,String,布隆,filter,add,BitSet,https,过滤器,cn
来源: https://blog.csdn.net/qq_41785467/article/details/104094217

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有