SpringBoot+Redis如何实现布隆过滤器
SpringBoot+Redis如何实现布隆过滤器
小编给大家分享一下SpringBoot+Redis如何实现布隆过滤器，希望大家阅读完这篇文章之后都有所收获，下面让我们一起去探讨吧！
简述
关于布隆过滤器的详细介绍，我在这里就不再赘述一遍了
我们首先知道：BloomFilter使用长度为m bit的字节数组，使用k个hash函数，增加一个元素: 通过k次hash将元素映射到字节数组中k个位置中，并设置对应位置的字节为1。查询元素是否存在: 将元素k次hash得到k个位置，如果对应k个位置的bit是1则认为存在，反之则认为不存在。
Guava 中已经有具体的实现，而在我们实际生产环境中，本地的存储往往无法满足我们实际的 需求。所以在这时候，就需要我们使用 redis 了。
Redis 安装 Bloom Filter
gitclonehttps://github.com/RedisLabsModules/redisbloom.gitcdredisbloommake#编译viredis.conf##增加配置loadmodule/usr/local/web/redis/RedisBloom-1.1.1/rebloom.so##redis重启#关闭./redis-cli-h127.0.0.1-p6379shutdown#启动./redis-server../redis.conf&
基本指令
#创建布隆过滤器，并设置一个期望的错误率和初始大小bf.reserveuserid0.01100000#往过滤器中添加元素bf.adduserid'sbc@163.com'#判断指定key的value是否在bloomfilter里存在，存在：返回1，不存在：返回0bf.existsuserid'sbc@163.com'
结合 SpingBoot
搭建一个简单的 springboot 框架
方式一
配置
<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>com.bloom</groupId><artifactId>test-bloomfilter</artifactId><version>1.0-SNAPSHOT</version><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>1.5.8.RELEASE</version><relativePath/><!--lookupparentfromrepository--></parent><dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId></dependency><dependency><groupId>org.apache.commons</groupId><artifactId>commons-lang3</artifactId><version>3.0.1</version></dependency></dependencies></project>
redis本身对布隆过滤器就有一个很好地实现，在 java 端，我们直接导入 redisson 的 jar包即可
<dependency><groupId>org.redisson</groupId><artifactId>redisson</artifactId><version>3.8.2</version></dependency>
将 Redisson实例 注入 SpringIOC 容器中
@ConfigurationpublicclassRedissonConfig{@Value("${redisson.redis.address}")privateStringaddress;@Value("${redisson.redis.password}")privateStringpassword;@BeanpublicConfigredissionConfig(){Configconfig=newConfig();SingleServerConfigsingleServerConfig=config.useSingleServer();singleServerConfig.setAddress(address);if(StringUtils.isNotEmpty(password)){singleServerConfig.setPassword(password);}returnconfig;}@BeanpublicRedissonClientredissonClient(){returnRedisson.create(redissionConfig());}}
配置文件
redisson.redis.address=redis://127.0.0.1:6379redisson.redis.password=
最后测试我们的布隆过滤器
@SpringBootApplicationpublicclassBloomApplication{publicstaticvoidmain(String[]args){ConfigurableApplicationContextcontext=SpringApplication.run(BloomApplication.class,args);RedissonClientredisson=context.getBean(RedissonClient.class);RBloomFilterbf=redisson.getBloomFilter("test-bloom-filter");bf.tryInit(100000L,0.03);Set<String>set=newHashSet<String>(1000);List<String>list=newArrayList<String>(1000);//向布隆过滤器中填充数据，为了测试真实，我们记录了1000个uuid，另外9000个作为干扰数据for(inti=0;i<10000;i++){Stringuuid=UUID.randomUUID().toString();if(i<1000){set.add(uuid);list.add(uuid);}bf.add(uuid);}intwrong=0;//布隆过滤器误判的次数intright=0;//布隆过滤器正确次数for(inti=0;i<10000;i++){Stringstr=i%10==0?list.get(i/10):UUID.randomUUID().toString();if(bf.contains(str)){if(set.contains(str)){right++;}else{wrong++;}}}//right为1000System.out.println("right:"+right);//因为误差率为3%，所以一万条数据wrong的值在30左右System.out.println("wrong:"+wrong);//过滤器剩余空间大小System.out.println(bf.count());}}
以上使我们使用 redisson 的使用方式，下面介绍一种比较原始的方式，使用lua脚本的方式
方式二
bf_add.lua
localbloomName=KEYS[1]localvalue=KEYS[2]localresult=redis.call('BF.ADD',bloomName,value)returnresult
bf_exist.lua
localbloomName=KEYS[1]localvalue=KEYS[2]localresult=redis.call('BF.EXISTS',bloomName,value)returnresult
@ServicepublicclassRedisBloomFilterService{@AutowiredprivateRedisTemplateredisTemplate;//我们依旧用刚刚的那个过滤器publicstaticfinalStringBLOOMFILTER_NAME="test-bloom-filter";/***向布隆过滤器添加元素*@paramstr*@return*/publicBooleanbloomAdd(Stringstr){DefaultRedisScript<Boolean>LuaScript=newDefaultRedisScript<Boolean>();LuaScript.setScriptSource(newResourceScriptSource(newClassPathResource("bf_add.lua")));LuaScript.setResultType(Boolean.class);//封装传递脚本参数List<String>params=newArrayList<String>();params.add(BLOOMFILTER_NAME);params.add(str);return(Boolean)redisTemplate.execute(LuaScript,params);}/***检验元素是否可能存在于布隆过滤器中*@paramid*@return*/publicBooleanbloomExist(Stringstr){DefaultRedisScript<Boolean>LuaScript=newDefaultRedisScript<Boolean>();LuaScript.setScriptSource(newResourceScriptSource(newClassPathResource("bf_exist.lua")));LuaScript.setResultType(Boolean.class);//封装传递脚本参数ArrayList<String>params=newArrayList<String>();params.add(BLOOMFILTER_NAME);params.add(String.valueOf(str));return(Boolean)redisTemplate.execute(LuaScript,params);}}
最后我们还是用上面的启动器执行测试代码
@SpringBootApplicationpublicclassBloomApplication{publicstaticvoidmain(String[]args){ConfigurableApplicationContextcontext=SpringApplication.run(BloomApplication.class,args);RedisBloomFilterServicefilterService=context.getBean(RedisBloomFilterService.class);Set<String>set=newHashSet<String>(1000);List<String>list=newArrayList<String>(1000);//向布隆过滤器中填充数据，为了测试真实，我们记录了1000个uuid，另外9000个作为干扰数据for(inti=0;i<10000;i++){Stringuuid=UUID.randomUUID().toString();if(i<1000){set.add(uuid);list.add(uuid);}filterService.bloomAdd(uuid);}intwrong=0;//布隆过滤器误判的次数intright=0;//布隆过滤器正确次数for(inti=0;i<10000;i++){Stringstr=i%10==0?list.get(i/10):UUID.randomUUID().toString();if(filterService.bloomExist(str)){if(set.contains(str)){right++;}else{wrong++;}}}//right为1000System.out.println("right:"+right);//因为误差率为3%，所以一万条数据wrong的值在30左右System.out.println("wrong:"+wrong);}}
相比而言，个人比较推荐第一种，实现的原理都是差不多，redis 官方已经为我封装好了执行脚本，和相关 api，用官方的会更好一点
看完了这篇文章，相信你对“SpringBoot+Redis如何实现布隆过滤器”有了一定的了解，如果想了解更多相关知识，欢迎关注恰卡编程网行业资讯频道，感谢各位的阅读！
