随笔分类 -  架构师之路-数据库与缓存

数据库秒级平滑扩容架构方案
摘要：一、缘起 （1）并发量大，流量大的互联网架构，一般来说，数据库上层都有一个服务层，服务层记录了“业务库名”与“数据库实例”的映射关系，通过数据库连接池向数据库路由sql语句以执行： 如上图：服务层配置用户库user对应的数据库实例物理位置为ip（其实是一个内网域名）。 （2）随着数据量的增大，数据要 阅读全文
posted @ 2017-12-25 15:57 Sheldon_blog 阅读(2110) 评论(2) 推荐(0)
mysql并行复制降低主从同步延时的思路与启示
摘要：一、缘起 mysql主从复制，读写分离是互联网用的非常多的mysql架构，主从复制最令人诟病的地方就是，在数据量较大并发量较大的场景下，主从延时会比较严重。 为什么mysql主从延时这么大？ 回答：从库使用【单线程】重放relaylog。 优化思路是什么？ 回答：使用单线程重放relaylog使得同 阅读全文
posted @ 2017-12-25 15:56 Sheldon_blog 阅读(1001) 评论(0) 推荐(0)
DB主从一致性架构优化4种方法
摘要：需求缘起 大部分互联网的业务都是“读多写少”的场景，数据库层面，读性能往往成为瓶颈。如下图：业界通常采用“一主多从，读写分离，冗余多个读库”的数据库架构来提升数据库的读性能。 这种架构的一个潜在缺点是，业务方有可能读取到并不是最新的旧数据： （1）系统先对DB-master进行了一个写操作，写主库 阅读全文
posted @ 2017-12-25 15:55 Sheldon_blog 阅读(359) 评论(0) 推荐(0)
主从DB与cache一致性
摘要：本文主要讨论这么几个问题： （1）数据库主从延时为何会导致缓存数据不一致 （2）优化思路与方案 一、需求缘起 上一篇《缓存架构设计细节二三事》中有一个小优化点，在只有主库时，通过“串行化”的思路可以解决缓存与数据库中数据不一致。引发大家热烈讨论的点是“在主从同步，读写分离的数据库架构下，有可能出现脏 阅读全文
posted @ 2017-12-25 15:54 Sheldon_blog 阅读(767) 评论(0) 推荐(0)
缓存与数据库一致性保证
摘要：本文主要讨论这么几个问题： （1）啥时候数据库和缓存中的数据会不一致 （2）不一致优化思路 （3）如何保证数据库与缓存的一致性 一、需求缘起 上一篇《缓存架构设计细节二三事》（点击查看）引起了广泛的讨论，其中有一个结论：当数据发生变化时，“先淘汰缓存，再修改数据库”这个点是大家讨论的最多的。 上篇文 阅读全文
posted @ 2017-12-25 15:53 Sheldon_blog 阅读(297) 评论(0) 推荐(0)
细聊冗余表数据一致性
摘要：本文主要讨论四个问题： （1）为什么会有冗余表的需求 （2）如何实现冗余表 （3）正反冗余表谁先执行 （4）冗余表如何保证数据的一致性 一、需求缘起 互联网很多业务场景的数据量很大，此时数据库架构要进行水平切分，水平切分会有一个patition key，通过patition key的查询能够直接定位 阅读全文
posted @ 2017-12-25 15:48 Sheldon_blog 阅读(359) 评论(0) 推荐(0)
缓存架构设计细节二三事
摘要：本文主要讨论这么几个问题： （1）“缓存与数据库”需求缘起 （2）“淘汰缓存”还是“更新缓存” （3）缓存和数据库的操作时序 （4）缓存和数据库架构简析 一、需求缘起 场景介绍 缓存是一种提高系统读性能的常见技术，对于读多写少的应用场景，我们经常使用缓存来进行优化。 例如对于用户的余额信息表acco 阅读全文
posted @ 2017-12-25 15:44 Sheldon_blog 阅读(177) 评论(0) 推荐(0)
数据库软件架构设计些什么
摘要：一、基本概念 二、数据库架构设计思路 （1）可用性 （2）读性能 （3）一致性 （4）扩展性 一、基本概念 概念一“单库” 概念二“分片” 分片解决的是“数据量太大”的问题，也就是通常说的“水平切分”。 一旦引入分片，势必有“数据路由”的概念，哪个数据访问哪个库。 路由规则通常有3种方法： （1）范 阅读全文
posted @ 2017-12-25 15:40 Sheldon_blog 阅读(1834) 评论(0) 推荐(0)