摘要： LSM树（Log-Structured Merge Tree）存储引擎 代表数据库：nessDB、leveldb、hbase等 将对数据的修改增量保持在内存中，达到指定的大小限制后将这些修改操作批量写入磁盘， 不过读取的时候稍微麻烦，需要合并磁盘中历史数据和内存中最近修改操作，所以写入性能大大提升， 阅读全文

摘要： 一个网站是否受欢迎一个重要的数据是日活（DAU (Daily Active User)），而决定最大DAU是两个重要的数据，QPS，TPS QPS： 每秒查询率 Query Per Second TPS： 每秒处理的消息数（Transaction Per Second） RT： 响应时间，处理一次请 阅读全文

摘要： 日期：2017.8.15 Gossip是p2p通信时候，广泛使用的一种协议。 具有以下特点： 最终一致性。 明确的收敛速度O（n²）和时间复杂度O（logn） 较强的网络容错性 依据节点工作方式分为两种类型： Anti-Entropy（反熵）：以固定的概率传播所有的数据 Rumor-Mongerin 阅读全文

摘要： 推送服务中有几个模块：消息，频道。 频道：几个用户，组成一个频道。（比如XX部门是一个频道，部门通知就发送给这个频道） 消息：指的是需要推送给频道的信息，此处使用队列。 一个经典的数据结构 map[ Group ] messageList 存储当前最新message map[Group] userL 阅读全文

摘要： 两种共识算法： 拜占庭容错（BFT） Byzantine Fault Tolerance，非拜占庭容错（CFT） Crash Fault Tolerance CFT认为机器可能宕机，网络可能异常，但是所有信息真实可信。BFT在CFT的基础上，认为出错的机器是可能说谎的。 CFT模型容错需要至少2f+ 阅读全文

摘要： 历史：1988年，Liskov发文指出了主从备份的算法，而Leslie Lamport在1989年才提出了Paxos这个名词。但是知道1998年才正式发表。而Liskov团队后来在1999年提出了风靡一时的PBFT（使用的拜占庭容错算法）算法。 paxos是分布式共识算法的灵魂，以至于谷歌在08发表 阅读全文

摘要： 概念 数字证书就是互联网通讯中标志通讯各方身份信息的一串数字，提供了一种在Internet上验证通信实体身份的方式，数字证书不是数字身份证，而是身份认证机构盖在数字身份证上的一个章或印（或者说加在数字身份证上的一个签名）。它是由权威机构——CA机构，又称为证书授权（Certificate Autho 阅读全文

摘要： 布隆过滤器原理 布隆过滤器（Bloom Filter）的核心实现是一个超大的位数组和几个哈希函数。假设位数组的长度为m，哈希函数的个数为k 以上图为例，具体的操作流程：假设集合里面有3个元素{x, y, z}，哈希函数的个数为3。首先将位数组进行初始化，将里面每个位都设置位0。对于集合里面的每一个元 阅读全文

摘要： 类 go没有普通的类概念，可以随心所欲的根据自己的喜好来编写自己喜欢的风格 类型系统： 可以在已有类型之上增加新类型 type Integer int func (a Integer) Less(b Integer) bool( return a<b ) 也可以新增类型 type Person st 阅读全文

摘要： Zookeeper简介： ZooKeeper是一个分布式协调服务，可用于服务发现、分布式锁、分布式领导选举、配置管理等。 这一切的基础，都是ZooKeeper提供了一个类似于Linux文件系统的树形结构（可认为是轻量级的内存文件系统，但只适合存少量信息，完全不适合存储大量文件或者大文件），同时提供了 阅读全文