2022年5月14日
后端存储技术名词
摘要： 分片：数据量大通用处理方法 分片算法：范围分片，Hash分片 数字类型：取模拆分 字符串类型： var array = md5.ToCharArray(); var iHashTemp = (1000 + (array[29] % 10) * 100 + (array[30] % 10) * 10 阅读全文
posted @ 2022-05-14 12:18 yuxuan0802 阅读(176) 评论(0) 推荐(0)
后端存储技术研究
摘要： 一、NewSQL 兼容Old SQL和No SQL特性 Old SQL：数据库支持ACID和强大SQL查询能力 No SQL：Redis等KV存储，性能超过数据库10倍级别，容易组成分布式集群，支持水平扩展、高可靠、高可用 方案： Google：Cloud Spanne 国产：OceanBase、C 阅读全文
posted @ 2022-05-14 11:06 yuxuan0802 阅读(396) 评论(0) 推荐(0)
海量数据存储和查询方案
摘要： 一、大容量数据实时存储方案 点击流：App、小程序和 Web 页面上的埋点数据，这些埋点数据记录用户的行为，比如你打开了哪个页面，点击了哪个按钮，在哪个商品上停留了多久 数据量：每天超过 TB（1 TB = 1024 GB）级别，数据累积达到 PB（1 PB = 1024 TB）级别 方案一：几个月 阅读全文
posted @ 2022-05-14 10:46 yuxuan0802 阅读(2855) 评论(0) 推荐(0)
分布式文件系统原理
摘要： 文件系统架构原理 1、元数据 (Metadata)：存储节点信息、文件信息和它们的映射关系 =》 使用ZooKeeper或etcd存储 2、网关： a、收到对象读写请求后，先拿请求Key，去元数据集群查找Key的元数据 b、根据key元数据记载的对象长度，计算对象有多少块； c、根据分块并行处理，每 阅读全文
posted @ 2022-05-14 09:27 yuxuan0802 阅读(322) 评论(0) 推荐(0)