随笔分类 -  Architecture

哈希技术
摘要：1、一致性哈希。在分布式系统用途广泛。2、局部敏感哈希LSH：simhash和minhash。可以用于相似度检测等。谷歌有篇文章利用LSH进行网页去重。3、布隆过滤器。判断一个元素是否在一个集合中。4、在数据流算法中哈希算法应用更是广泛。比如数据流中独立元素计数等。5、特征哈希。近几年在nips等机... 阅读全文
posted @ 2015-05-24 14:35 fwwdn 阅读(274) 评论(0) 推荐(0)
Schema evolution in Avro, Protocol Buffers and Thrift
摘要：So you have some data that you want to store in a file or send over the network. You may find yourself going through several phases of evolution:Using... 阅读全文
posted @ 2015-05-16 21:12 fwwdn 阅读(367) 评论(0) 推荐(0)
分布式事务总结
摘要：什么是分布式事务传统的基于数据库本地事务的解决方案只能保障单个服务的一次处理具备原子性、隔离性、一致性与持久性，但无法保障多个分布服务间处理的一致性。因此，我们必须建立一套分布式服务处理之间的协调机制，保障分布式服务处理的原子性、隔离性、一致性与持久性。一些案例1、支付宝分布式事务测试方案2、分布式... 阅读全文
posted @ 2015-05-12 23:29 fwwdn 阅读(172) 评论(0) 推荐(1)