【故障公告】redis内存耗尽造成博客后台无法保存

非常抱歉,今天上午11:00~11:30左右,由于 redis 服务器内存耗尽造成博客后台故障——保存博文时总是提示“请求太过频繁,请稍后再试”,由此给您带来麻烦,请您谅解。

由于 redis 监控报警配置没有及时更新,当 redis 服务器内存耗尽时我们没有收到报警通知,所以未能及时发现问题。当我们发现故障并定位到故障原因后,立即对 redis 进行了升级(我们使用的是阿里云云数据库Redis版),5分钟左右完成升级,升级后恢复正常。

又是一次黑色星期四,这次完全是我们的运维工作不到位,我们会吸取教训,改进运维工作。

【更新】

  • 博客后台保存博文时使用了基于 Redis 的分布式锁 RedLock, “请求太过频繁,请稍后再试”报错是因为拿不到锁。
  • redis 内存耗尽是由于一个应用错误地使用了这台 redis,并且缓存条目没有加过期时间。
posted @ 2020-12-24 12:07  博客园团队  阅读(6265)  评论(54编辑  收藏  举报