缓存穿透防护中的布隆过滤器调优

缓存穿透防护中的布隆过滤器调优

最近在后端服务缓存一致性实践中，踩了一个关于缓存穿透的坑。项目中使用Redis作为缓存层，但在高并发场景下，大量不存在的数据查询直接打到DB，导致数据库压力骤增。

问题复现步骤

1. 首先在服务启动时初始化布隆过滤器：

from pybloom_live import BloomFilter
bf = BloomFilter(capacity=1000000, error_rate=0.01)

2. 查询逻辑中先检查布隆过滤器：

if key in bf:
    # 缓存查询
else:
    # 直接查DB，但未做任何处理

3. 问题出现：当缓存未命中且数据确实不存在时，布隆过滤器无法判断，导致大量空查询打到数据库。

调优方案

经过多次测试和调参，最终优化为：

# 增加布隆过滤器容量和降低错误率
bf = BloomFilter(capacity=10000000, error_rate=0.001)

# 同时引入空值缓存机制
if key in bf:
    value = redis.get(key)
    if value is None:
        # 空值缓存，避免穿透
        redis.setex(f"empty_{key}", 300, "")
    else:
        return value
else:
    # 查询数据库并更新布隆过滤器
    value = db.query(key)
    if value:
        redis.setex(key, 3600, value)
        bf.add(key)
    else:
        redis.setex(f"empty_{key}", 300, "")

效果验证

优化后，数据库查询QPS下降了85%，缓存穿透问题基本解决。建议在高并发场景下，布隆过滤器的容量应设置为预期数据量的10倍以上。

这坑踩得真是够呛，大家在使用布隆过滤器时一定要注意容量和错误率的平衡！