美团面试题:缓存一致性,我是这么回答的!

沙海 2021年7月14日01:24:46Java评论20字数 2840阅读9分28秒阅读模式
摘要

智能摘要

智能摘要文章源自JAVA秀-https://www.javaxiu.com/37692.html

在两个操作之间发生了数据查询,那么会有旧数据放入缓存。如果在查询数据库和放入缓存这两个操作中间发生了数据更新并且删除缓存,那么会有旧数据放入缓存。在更新数据库之前有查询请求,并且缓存失效了,会查询数据库,然后更新缓存。这么做的目的,就是确保读请求结束,写请求可以删除读请求造成的缓存脏数据。文章源自JAVA秀-https://www.javaxiu.com/37692.html

原文约 2497 | 图片 18 | 建议阅读 5 分钟 | 评价反馈文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!

小黑格子屋 文章源自JAVA秀-https://www.javaxiu.com/37692.html

以下文章来源于月伴飞鱼,作者日常加油站文章源自JAVA秀-https://www.javaxiu.com/37692.html

文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

月伴飞鱼文章源自JAVA秀-https://www.javaxiu.com/37692.html

号主目前就职于美团,掘金优秀作者,日常分享计算机基础,分布式,数据库,框架源码,大数据等精品原创文章文章源自JAVA秀-https://www.javaxiu.com/37692.html

文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

来源:月伴飞鱼文章源自JAVA秀-https://www.javaxiu.com/37692.html

作者:日常加油站文章源自JAVA秀-https://www.javaxiu.com/37692.html

前言

一道之前的面试题:文章源自JAVA秀-https://www.javaxiu.com/37692.html

如何保证缓存和数据库的一致性?文章源自JAVA秀-https://www.javaxiu.com/37692.html

文章源自JAVA秀-https://www.javaxiu.com/37692.html

方案分析

更新缓存策略方式常见的有下面几种:文章源自JAVA秀-https://www.javaxiu.com/37692.html

  1. 先更新缓存,再更新数据库文章源自JAVA秀-https://www.javaxiu.com/37692.html

  2. 先更新数据库,再更新缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

  3. 先删除缓存,再更新数据库文章源自JAVA秀-https://www.javaxiu.com/37692.html

  4. 先更新数据库,再删除缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

下面一一介绍!文章源自JAVA秀-https://www.javaxiu.com/37692.html

方案一:更新缓存,更新数据库文章源自JAVA秀-https://www.javaxiu.com/37692.html

这种方式可轻易排除,因为如果先更新缓存成功,但是数据库更新失败,则肯定会造成数据不一致。文章源自JAVA秀-https://www.javaxiu.com/37692.html

方案二:更新数据库,更新缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

这种缓存更新策略俗称双写,存在问题是:并发更新数据库场景下,会将脏数据刷到缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

updateDB();updateRedis();

举例:如果在两个操作之间数据库和缓存又被后面请求修改,此时再去更新缓存已经是过期数据了。文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

方案三:删除缓存,更新数据库文章源自JAVA秀-https://www.javaxiu.com/37692.html

存在问题:更新数据库之前,若有查询请求,会将脏数据刷到缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

deleteRedis();updateDB();

举例:如果在两个操作之间发生了数据查询,那么会有旧数据放入缓存。文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

该方案会导致请求数据不一致文章源自JAVA秀-https://www.javaxiu.com/37692.html

如果同时有一个请求A进行更新操作,另一个请求B进行查询操作。那么会出现如下情形:文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 请求A进行写操作,删除缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 请求B查询发现缓存不存在文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 请求B去数据库查询得到旧值文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 请求B将旧值写入缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 请求A将新值写入数据库文章源自JAVA秀-https://www.javaxiu.com/37692.html

上述情况就会导致不一致的情形出现。而且,如果不采用给缓存设置过期时间策略,该数据永远都是脏数据。文章源自JAVA秀-https://www.javaxiu.com/37692.html

方案四:更新数据库,删除缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

存在问题:在更新数据库之前有查询请求,并且缓存失效了,会查询数据库,然后更新缓存。如果在查询数据库和更新缓存之间进行了数据库更新的操作,那么就会把脏数据刷到缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

updateDB();deleteRedis();

举例:如果在查询数据库和放入缓存这两个操作中间发生了数据更新并且删除缓存,那么会有旧数据放入缓存。文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

假设有两个请求,一个请求A做查询操作,一个请求B做更新操作,那么会有如下情形产生文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 缓存刚好失效文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 请求A查询数据库,得一个旧值文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 请求B将新值写入数据库文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 请求B删除缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 请求A将查到的旧值写入缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

如果发生上述情况,确实是会发生脏数据。但是发生上述情况有一个先天性条件,就是写数据库操作比读数据库操作耗时更短文章源自JAVA秀-https://www.javaxiu.com/37692.html

不过数据库的读操作的速度远快于写操作的文章源自JAVA秀-https://www.javaxiu.com/37692.html

因此这一情形很难出现。文章源自JAVA秀-https://www.javaxiu.com/37692.html

方案对比

方案1和方案2的共同缺点:文章源自JAVA秀-https://www.javaxiu.com/37692.html

并发更新数据库场景下,会将脏数据刷到缓存,但一般并发写的场景概率都相对小一些;文章源自JAVA秀-https://www.javaxiu.com/37692.html

线程安全角度,会产生脏数据,比如:文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 线程A更新了数据库文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 线程B更新了数据库文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 线程B更新了缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 线程A更新了缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

方案3和方案4的共同缺点:文章源自JAVA秀-https://www.javaxiu.com/37692.html

不管采用哪种顺序,2种方式都是存在一些问题的:文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 主从延时问题:不管是先删除还是后删除,数据库主从延时可能导致脏数据的产生。文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 缓存删除失败:如果缓存删除失败,则都会产生脏数据。文章源自JAVA秀-https://www.javaxiu.com/37692.html

问题解决思路:延迟双删,添加重试机制,下面介绍!文章源自JAVA秀-https://www.javaxiu.com/37692.html

更新缓存还是删除缓存?文章源自JAVA秀-https://www.javaxiu.com/37692.html

1.更新缓存缓存需要有一定的维护成本,而且会存在并发更新的问题文章源自JAVA秀-https://www.javaxiu.com/37692.html

2.写多读少的情况下,读请求还没有来,缓存以及被更新很多次,没有起到缓存的作用文章源自JAVA秀-https://www.javaxiu.com/37692.html

3.放入缓存的值可能是经过复杂计算的,如果每次更新,都计算写入缓存的值,浪费性能的文章源自JAVA秀-https://www.javaxiu.com/37692.html

删除缓存优点:简单、成本低,容易开发;缺点:会造成一次cache miss文章源自JAVA秀-https://www.javaxiu.com/37692.html

如果更新缓存开销较小并且读多写少,基本不会有写并发的时候可以才用更新缓存,否则通用做法还是删除缓存。文章源自JAVA秀-https://www.javaxiu.com/37692.html

总结

方案问题问题出现概率推荐程度
更新缓存 -> 更新数据库为了保证数据准确性,数据必须以数据库更新结果为准,所以该方案绝不可行不推荐
更新数据库 -> 更新缓存并发更新数据库场景下,会将脏数据刷到缓存并发写场景,概率一般写请求较多时会出现不一致问题,不推荐使用。
删除缓存 -> 更新数据库更新数据库之前,若有查询请求,会将脏数据刷到缓存并发读场景,概率较大读请求较多时会出现不一致问题,不推荐使用
更新数据库 -> 删除缓存在更新数据库之前有查询请求,并且缓存失效了,会查询数据库,然后更新缓存。如果在查询数据库和更新缓存之间进行了数据库更新的操作,那么就会把脏数据刷到缓存并发读场景&读操作慢于写操作,概率最小读操作比写操作更慢的情况较少,相比于其他方式出错的概率小一些。勉强推荐。

推荐方案

延迟双删

采用更新前后双删除缓存策略文章源自JAVA秀-https://www.javaxiu.com/37692.html

public void write(String key,Object data){  redis.del(key);     db.update(data);     Thread.sleep(1000);     redis.del(key); }
  • 先淘汰缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 再写数据库文章源自JAVA秀-https://www.javaxiu.com/37692.html

  • 休眠1秒,再次淘汰缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

大家应该评估自己的项目的读数据业务逻辑的耗时。然后写数据的休眠时间则在读数据业务逻辑的耗时基础上即可。文章源自JAVA秀-https://www.javaxiu.com/37692.html

这么做的目的,就是确保读请求结束,写请求可以删除读请求造成的缓存脏数据。文章源自JAVA秀-https://www.javaxiu.com/37692.html

问题及解法:文章源自JAVA秀-https://www.javaxiu.com/37692.html

1、同步删除,吞吐量降低如何处理文章源自JAVA秀-https://www.javaxiu.com/37692.html

将第二次删除作为异步的,提交一个延迟的执行任务文章源自JAVA秀-https://www.javaxiu.com/37692.html

2、解决删除失败的方式:文章源自JAVA秀-https://www.javaxiu.com/37692.html

添加重试机制,例如:将删除失败的key,写入消息队列;但对业务耦合有些严重;文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

延时工具可以选择:文章源自JAVA秀-https://www.javaxiu.com/37692.html

最普通的阻塞Thread.currentThread().sleep(1000);文章源自JAVA秀-https://www.javaxiu.com/37692.html

Jdk调度线程池,quartz定时任务,利用jdk自带的delayQueue,netty的HashWheelTimer,Rabbitmq的延时队列,等等文章源自JAVA秀-https://www.javaxiu.com/37692.html

实际场景

我们有个商品中心的场景,是读多写少的服务,并且写数据会发送MQ通知下游拿数据,这样就需要严格保证缓存和数据库的一致性,需要提供高可靠的系统服务能力。文章源自JAVA秀-https://www.javaxiu.com/37692.html

写缓存策略

  1. 缓存key设置失效时间文章源自JAVA秀-https://www.javaxiu.com/37692.html

  2. 先DB操作,再缓存失效文章源自JAVA秀-https://www.javaxiu.com/37692.html

  3. 写操作都标记key(美团中间件)强制走主库文章源自JAVA秀-https://www.javaxiu.com/37692.html

  4. 接入美团中间件监听binlog(美团中间件)变化的数据在进行兜底,再删除缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

读缓存策略

  1. 先判断是否走主库文章源自JAVA秀-https://www.javaxiu.com/37692.html

  2. 如果走主库,则使用标记(美团中间件)查主库文章源自JAVA秀-https://www.javaxiu.com/37692.html

  3. 如果不是,则查看缓存中是否有数据文章源自JAVA秀-https://www.javaxiu.com/37692.html

  4. 缓存中有数据,则使用缓存数据作为结果文章源自JAVA秀-https://www.javaxiu.com/37692.html

  5. 如果没有,则查DB数据,再写数据到缓存文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

注意

关于缓存过期时间的问题文章源自JAVA秀-https://www.javaxiu.com/37692.html

如果缓存设置了过期时间,那么上述的所有不一致情况都只是暂时的。文章源自JAVA秀-https://www.javaxiu.com/37692.html

但是如果没有设置过期时间,那么不一致问题就只能等到下次更新数据时解决。文章源自JAVA秀-https://www.javaxiu.com/37692.html

所以一定要设置缓存过期时间文章源自JAVA秀-https://www.javaxiu.com/37692.html

-End-

文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

一名合格前端工程师必备素质:代码整洁之道文章源自JAVA秀-https://www.javaxiu.com/37692.html

文章源自JAVA秀-https://www.javaxiu.com/37692.html

文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

算法推荐女朋友,靠谱吗?文章源自JAVA秀-https://www.javaxiu.com/37692.html

文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

小米面试:孔融找梨文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的! 可乐记得加冰,爱我就要置顶 美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

美团面试题:缓存一致性,我是这么回答的!素质三连biubiubiu~美团面试题:缓存一致性,我是这么回答的!文章源自JAVA秀-https://www.javaxiu.com/37692.html

继续阅读
速蛙云 - 极致体验,强烈推荐!!!购买套餐就免费送各大视频网站会员!快速稳定、独家福利社、流媒体稳定解锁!速度快,全球上网、视频、游戏加速、独立IP均支持!基础套餐性价比很高!这里不多说,我一直正在使用,推荐购买:https://www.javaxiu.com/59919.html
weinxin
资源分享QQ群
本站是JAVA秀团队的技术分享社区, 会经常分享资源和教程; 分享的时代, 请别再沉默!
沙海
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定