迷雾千寻

2017年11月20日

摘要：本文主要讨论四个问题：（1）为什么会有冗余表的需求（2）如何实现冗余表（3）正反冗余表谁先执行（4）冗余表如何保证数据的一致性一、需求缘起互联网很多业务场景的数据量很大，此时数据库架构要进行水平切分，水平切分会有一个patition key，通过patition key的查询能够直接定位到库，但是非patition key上的查询可能就需要扫描多个库了。例如订单表... 阅读全文

posted @ 2017-11-20 14:56 迷雾千寻阅读(304) 评论(0) 推荐(0)

2017年11月19日

【转载】缓存架构设计细节二三事

摘要：本文主要讨论这么几个问题：（1）“缓存与数据库”需求缘起（2）“淘汰缓存”还是“更新缓存” （3）缓存和数据库的操作时序（4）缓存和数据库架构简析一、需求缘起场景介绍缓存是一种提高系统读性能的常见技术，对于读多写少的应用场景，我们经常使用缓存来进行优化。例如对于用户的余额信息表account(uid, money)，业务上的需求是：（1）查询用户的余额，SE... 阅读全文

posted @ 2017-11-19 15:57 迷雾千寻阅读(178) 评论(0) 推荐(0)

【转载】分布式系统理论基础 - 一致性、2PC和3PC

摘要：引言狭义的分布式系统指由网络连接的计算机系统，每个节点独立地承担计算或存储任务，节点间通过网络协同工作。广义的分布式系统是一个相对的概念，正如Leslie Lamport所说[1]： What is a distributed systeme. Distribution is in the eye of the beholder.To the user sitting at the keybo... 阅读全文

posted @ 2017-11-19 15:20 迷雾千寻阅读(345) 评论(0) 推荐(0)

【转载】数据库软件架构设计些什么

摘要：缘起：受@萧田国萧总邀请，上周五晚上在“高效运维1号群”内分享了《58同城数据库软件架构设计与实践》（这个topic今年在数据库大会上分享过），应组织方要求，发出纪要。一、基本概念二、数据库架构设计思路（1）可用性（2）读性能（3）一致性（4）扩展性一、基本概念概念一“单库” 概念二“分片” 分片解决的是“数据量太大”的问题，也就是通常说的“水平切分”。一旦引入分片，... 阅读全文

posted @ 2017-11-19 12:21 迷雾千寻阅读(747) 评论(0) 推荐(0)

【转载】关于Hash

摘要：这个HASH算法不是大学里数据结构课里那个HASH表的算法。这里的HASH算法是密码学的基础，比较常用的有MD5和SHA，最重要的两条性质，就是不可逆和无冲突。所谓不可逆，就是当你知道x的HASH值，无法求出x；所谓无冲突，就是当你知道x，无法求出一个y，使x与y的HASH值相同。这两条性质在数学上都是不成立的。因为一个函数必然可逆，且由于HASH函数的值域有限，理论上会有无穷多个不同的原始值... 阅读全文

posted @ 2017-11-19 09:39 迷雾千寻阅读(430) 评论(0) 推荐(0)

【转载】一致性哈希算法(consistent hashing)

摘要：一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义： 1、平衡性(Balanc... 阅读全文

posted @ 2017-11-19 08:54 迷雾千寻阅读(194) 评论(0) 推荐(0)

2017年11月18日

【转载】100亿数据1万属性数据架构设计

摘要：一分钟系列之《啥，又要为表增加一列属性？》分享了两种数据库属性扩展思路，被喷得厉害。第二天补充了一篇《这才是真正的表扩展方案》，分享了互联网大数据高并发情况下，数据库属性扩容的成熟工具及思路。对于version + ext方案，还是有很多朋友质疑“线上不可能这么用”。本篇将讲述一下58同城最核心的数据“帖子”的架构实现技术细节，说明不仅不是“不可能这么用”，而是大数据，可变属性，高吞吐场景下的... 阅读全文

posted @ 2017-11-18 14:10 迷雾千寻阅读(285) 评论(0) 推荐(0)

【转载】这才是真正的表扩展方案

摘要：事情变得有意思了，上一篇花1小时撰写的“一分钟”文章，又引起了广泛的讨论，说明相关的技术大家感兴趣，挺好。第一次一篇技术文章的评论量过100，才知道原来“评论精选”还有100上限，甚为欣慰（虽然是以一种自己不愿看到的方式）。《啥，又要为表增加一列属性？》的方案颇有争议：（1）版本号version + 扩展字段ext （2）用增加列的key+value方式扩充属性有些评论，只能说“所谓夏虫，何... 阅读全文

posted @ 2017-11-18 13:05 迷雾千寻阅读(247) 评论(0) 推荐(0)

【转载】啥，又要为表增加一列属性？

摘要：需求缘起产品第一版：用户有用户名、密码、昵称等三个属性,对应表设计： user(uid, name, passwd, nick) 第二版，产品经理增加了年龄，性别两个属性,表结构可能要变成： user(uid, name, passwd, nick, age, sex) 假设数据量和并发量比较大，怎么变？（1）alter table add column？不太可行，锁表时间长（2）新表+触发... 阅读全文

posted @ 2017-11-18 11:29 迷雾千寻阅读(153) 评论(0) 推荐(0)

2017年11月17日

【转载】这才是真正的分布式锁

摘要：昨晚十点下班，回家花了1个小时写了一篇《一分钟实现分布式锁》，引起读者一些反响，有些朋友反馈“setnx算什么方案”，“没有考虑超时”，“为啥不用zookeeper”，有甚者上升到 “质疑58同城的技术水平”，“拉低了架构师的层次”，“适合小学生阅读”。给58带来负面的影响实在对不起公司，也抱歉耽误部分同学1分钟时间（还好是1分钟系列），不过大部分读者的反馈是正向的，只生气了5分钟。技术领域，... 阅读全文

posted @ 2017-11-17 15:09 迷雾千寻阅读(1008) 评论(0) 推荐(0)

公告