摘要：
一致性hash算法（consistent hashing）http://blog.csdn.net/sparkliang/article/details/5279393consistent hashing算法早在1997年就在论文Consistent hashing and random trees中被提出，目前在cache系统中应用越来越广泛；1基本场景比如你有N个cache服务器（后面简称cache），那么如何将一个对象object映射到N个cache上呢，你很可能会采用类似下面的通用方法计算object的hash值，然后均匀的映射到到N个cache；hash(object)%N一切都运行 阅读全文
随笔分类 - 大系统
Berkeley Sensor Database总结
2011-11-16 20:53 by shy.ang, 340 阅读, 收藏,
摘要：
http://sensor.berkeley.edu/Berkeley Sensor Databasel Based on Observation Data Model（ODM）, MySQL, Apache Web Server and Perll Modified ODM Schema l Data Loaderl Web Interfacel Administrative and Reporting functionsData Loaderruns hourly to check for new measurements and then populate the Sensor Data 阅读全文
【转】distributed key-value database
2011-11-16 20:18 by shy.ang, 464 阅读, 收藏,
摘要：
http://blog.gslin.org/archives/2009/07/25/2065/资料库在RDBMS提供了很多而且很丰富的操作方式，但当资料量愈来愈大时，会遇到单台机器的网路频宽有限以及空间有限。这时候一定得走向多台的架构。Replication最容易解决的情况是「读取的query 比写入的query 多」，可以用database replication 解决，这也是Web 1.0 网站常见的解法之一(另外一种常见的解法是使用静态档案，或是reverse proxy cache)，同步将资料复制到多台。Memcached接下来会发现当slave过多时会造成每台记忆体内重复cache 阅读全文
【转】实现大系统的小体会
2011-11-16 19:44 by shy.ang, 313 阅读, 收藏,
摘要：
http://blog.csdn.net/historyasamirror/article/details/6966672这些体会是基于一个这样的系统：它包含有十几个大小不一的模块，这些模块分布在不同的机器上，每个请求都需要这些模块的协作才能够完成。我不是太好意思称它为大系统或者分布式系统，因为它确实还差了那么点东西。但我也相信，任何一个真正的大系统/分布式系统也是从这么一个系统开始的。对于这样一个系统，消息通信模块，日志模块和监控模块是非常基础却至关重要的几个模块：消息通信模块是一切的基础。为了使得所有的模块尽可能的独立和解耦合，并且能够部署到不同的机器上，你应该让他们只使用某种基于网络协议 阅读全文
浙公网安备 33010602011771号