最近项目中的本地缓存,看是从Guava改成了Caffeine,据说是性能更好,既然性能更好的话,那么就用起来吧。不过在使用过程中,发现了单个load和批量loadall方面的一些小设置,记录一下。
一般说来,我们获取单条记录的时候,一般都是 cache.get(id),当数据过期,会从提前设定好的load方法中获取数据。
同样的,如果我们想批量获取记录的时候,一般都是用cache.getAll(ids),当数据过去,会从提前设定好的loadAll方法中获取数据。
实际在测试的时候,发现,利用如下的缓存初始化方式,无论怎么泡cache.getAll(ids)方法,发现总会从load方法中加载数据,硬生生的把批量获取变成了单个循环获取,这就导致几十个redis命令一起发到redis集群那边,造成了网络浪费和性能差异:
batchNumCache = Caffeine.newBuilder() .initialCapacity(cacheSize) .maximumSize(cacheSize) .refreshAfterWrite(cacheTime, TimeUnit.SECONDS) .build(new CacheLoader<Long, Map<String, Integer>>() { @Override public Map<String, Integer> load(Long batchId) throws Exception { return getBatchNumJimdb(batchId); } @Override public Map<Long, Map<String, Integer>> loadAll(Iterable<? extends Long> batchIds) throws Exception { if (Iterables.isEmpty(batchIds)) { return null; } return getAllBatchNumJimdb(Lists.newArrayList(batchIds)); } });
如上代码可以看出,load方法会调用getBatchNumJimdb加载数据,而loadAll方法会调用getAllBatchNumJimdb加载数据,getAllBatchNumJimdb加载数据的方式就是利用redis的pipeline,一次性将请求发给redis,然后获取返回结果。
虽然如上代码不能按照我们既定的方式工作,那么肯定配置有些什么问题,后来经过诸多的ut测试,发现设置上expireAfterWrite属性,整体就完美了。最终代码如下:
batchNumCache = Caffeine.newBuilder() .initialCapacity(cacheSize) .maximumSize(cacheSize) .refreshAfterWrite(cacheTime, TimeUnit.SECONDS) .expireAfterWrite(cacheTime, TimeUnit.SECONDS) .build(new CacheLoader<Long, Map<String, Integer>>() { @Override public Map<String, Integer> load(Long batchId) throws Exception { return getBatchNumJimdb(batchId); } @Override public Map<Long, Map<String, Integer>> loadAll(Iterable<? extends Long> batchIds) throws Exception { if (Iterables.isEmpty(batchIds)) { return null; } return getAllBatchNumJimdb(Lists.newArrayList(batchIds)); } });
如上代码,整体就ok了。当使用cache.get的时候,会从load加载,当使用cache.getall的时候,会从loadall加载。