摘要：
消息队列适用场景 A、工序流程：A->B->C 问题：下游消费速度不同，导致消费积压 方案：B和C节点配置暂存成品库 B、异步处理 秒杀下单流程： 1、 风险控制 2、 库存锁定 3、 生成订单 4、 短信通知 5、 更新统计数据 实际库存锁定后，即可返回给用户；后续请求数据放入消息队列，异步消费 阅读全文
posted @ 2022-05-18 17:41
yuxuan0802
阅读(196)
评论(0)
推荐(0)
摘要：
分片：数据量大通用处理方法 分片算法：范围分片，Hash分片 数字类型：取模拆分 字符串类型： var array = md5.ToCharArray(); var iHashTemp = (1000 + (array[29] % 10) * 100 + (array[30] % 10) * 10 阅读全文
posted @ 2022-05-14 12:18
yuxuan0802
阅读(166)
评论(0)
推荐(0)
摘要：
一、NewSQL 兼容Old SQL和No SQL特性 Old SQL：数据库支持ACID和强大SQL查询能力 No SQL：Redis等KV存储，性能超过数据库10倍级别，容易组成分布式集群，支持水平扩展、高可靠、高可用 方案： Google：Cloud Spanne 国产：OceanBase、C 阅读全文
posted @ 2022-05-14 11:06
yuxuan0802
阅读(385)
评论(0)
推荐(0)
摘要：
一、大容量数据实时存储方案 点击流：App、小程序和 Web 页面上的埋点数据，这些埋点数据记录用户的行为，比如你打开了哪个页面，点击了哪个按钮，在哪个商品上停留了多久 数据量：每天超过 TB（1 TB = 1024 GB）级别，数据累积达到 PB（1 PB = 1024 TB）级别 方案一：几个月 阅读全文
posted @ 2022-05-14 10:46
yuxuan0802
阅读(2819)
评论(0)
推荐(0)
摘要：
文件系统架构原理 1、元数据 (Metadata)：存储节点信息、文件信息和它们的映射关系 =》 使用ZooKeeper或etcd存储 2、网关： a、收到对象读写请求后，先拿请求Key，去元数据集群查找Key的元数据 b、根据key元数据记载的对象长度，计算对象有多少块； c、根据分块并行处理，每 阅读全文
posted @ 2022-05-14 09:27
yuxuan0802
阅读(306)
评论(0)
推荐(0)
摘要：
下载canal-1.1.4 wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.deployer-1.1.4.tar.gztar zvfx canal.deployer-1.1.4.tar.gz 配置My 阅读全文
posted @ 2022-05-13 23:28
yuxuan0802
阅读(161)
评论(0)
推荐(0)
摘要：
存储系统通用解决方案 数据量大查询慢：历史数据归档/分库分表 =》 分片 并发高扛不住：读写分离 =》 增加实例数 主实例宕机：增加主从节点，主节点宕机时候从节点顶上 =》主从复制（数据一致性问题） Redis Cluster如何应对数据量大、高并发和高可用问题？ 一、分片 槽（Slot）：每个集群 阅读全文
posted @ 2022-05-13 21:08
yuxuan0802
阅读(221)
评论(0)
推荐(0)
摘要：
1、缓存和数据库方案的选择 =》方法论：是否与用户有关，如果跟用户有关，使用数据库，否则用缓存。 缓存：电商商品系统，搜索等 =》任意用户访问内容都一样 数据库：订单系统、账户系统、购物车系统 =》 每个用户数据都不一样 2、MySQL应对高并发读写方案 读写分离：增加更多副本，提供读流量的均摊 分 阅读全文
posted @ 2022-05-13 16:44
yuxuan0802
阅读(1668)
评论(0)
推荐(1)
摘要：
1、Read/Write Through方案 读取：先取缓存数据，如果命中直接返回；如果未命中，穿透到DB读取，再更新缓存，并返回 写入：先更新db, 尝试更新缓存；如果缓存服务有问题，直接返回；如果缓存正常，正常更新缓存 问题1：线程A穿透读DB版本V1, 准备更新缓存版本V1, 此时线程B写DB 阅读全文
posted @ 2022-05-13 16:20
yuxuan0802
阅读(136)
评论(0)
推荐(0)
摘要：
一、MySQL全量备份 =》数据快照 mysqldump -uroot -p testdb > test.sql mysql -uroot -p testdb < test.sql 二、增量备份 =》Binlog，操作日志 show variables like '%log_bin%'; show 阅读全文
posted @ 2022-05-13 15:48
yuxuan0802
阅读(208)
评论(0)
推荐(0)
浙公网安备 33010602011771号