随笔分类 -  系统架构

摘要：本文作者是新浪微博的 Timyang 同学，Tim 前段时间对Redis做过一些测试和研究，本文是一篇更直接地接近于实际应用方面的总结文章。本文说到的规划，不仅对 Redis 适用，对我们常用的数据库和缓存的使用规划思路也有指导意义。在使用Redis过程中，我们发现了不少Redis不同于Memcached，也不同于MySQL的特征。(本文主要讨论Redis未启用VM支持情况)1. SchemaMySQL: 需事先设计Memcached: 无需设计Redis: 小型系统可以不用，但是如果要合理的规划及使用Redis，需要事先进行类似如下一些规划数据项: value保存的内容是什么，如用户资料Re 阅读全文

摘要：虽然最近业绩有所下滑，也出现了一些技术故障，但Digg作为首屈一指的社会化新闻网站，其背后的技术还是值得一探，最近Digg工程师Dave Beckett的一篇名为《How Digg is Built》的文章，非常系统地将Digg背后的技术展现给大家，非常值得一看。NoSQLFan 简要翻译如下：一、Digg提供的服务一个社会化的新闻网站对个人来说它又是一个私人社会化新闻发布平台一个广告平台一个开放API的平台博客及文档系统二、Digg 的核心功能文章提交功能 – 提交你认为有价值的新闻文章列表功能 – 将用户提交的新闻做各种不同纬度的列表（个人新闻，最近发布等）对文章的操作 – 用户可以对文章 阅读全文

摘要：Memcached是danga.com（运营LiveJournal的技术团队）开发的一套分布式内存对象缓存系统，用于在动态系统中减少数据库负载，提升性能。关于这个东西，相信很多人都用过，本文意在通过对memcached的实现及代码分析，获得对这个出色的开源软件更深入的了解，并可以根据我们的需要对其进行更进一步的优化。末了将通过对BSM_Memcache扩展的分析，加深对memcached的使用方式理解。本文的部分内容可能需要比较好的数学基础作为辅助。◎Memcached是什么在阐述这个问题之前，我们首先要清楚它“不是什么”。很多人把它当作和SharedMemory那种形式的存储载体来使用，虽然 阅读全文

摘要：1.网络IO模型 Memcached是多线程，非阻塞IO复用的网络模型，分为监听主线程和worker子线程，监听线程监听网络连接，接受请求后，将连接描述字pipe 传递给worker线程，进行读写IO, 网络层使用libevent封装的事件库，多线程模型可以发挥多核作用，但是引入了cache coherency和锁的问题，比如，Memcached最常用的stats 命令，实际Memcached所有操作都要对这个全局变量加锁，进行计数等工作，带来了性能损耗。(Memcached网络IO模型) Redis使用单线程的IO复用模型，自己封装了一个简单的AeEvent事件处理框架，主要实现了epo.. 阅读全文

摘要：Memcached概念： Memcached是一个免费开源的，高性能的，具有分布式对象的缓存系统，它可以用来保存一些经常存取的对象或数据，保存的数据像一张巨大的HASH表，该表以Key-value对的方式存在内存中。官网下载地址： http://www.memcached.org/运行环境： linux，BSD，windows都可跑协议理论：http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt （英文）操作流程：1、检查客户端的请求数据是否在memcached中，如有，直接把请求数据返回，不再对数据库进行任何操 阅读全文

摘要：1、启动Memcache 常用参数-p <num> 监听的TCP端口(默认: 11211)-U <num> UDP监听端口 (默认: 11211, 0 时关闭)-d 以守护进程方式运行-u <username> 运行运行 Memcached的账户 非root用户-m <num> 最大的内存使用单位是MB 默认是64MB-c <num> 软连接数量默认是1024-v 输出警告和错误信息-vv 打印客户端的请求和返回信息-h 打印帮助信息-i 打印memcached和libevent的版权信息-l <ip_addr> 绑定地址 阅读全文

摘要：Memcached是一个高效的分布式内存cache，了解memcached的内存管理机制，便于我们理解memcached，让我们可以针对我们数据特点进行调优，让其更好的为我所用。这里简单谈一下我对memcached的内存管理的一些认识，在没有特别注明的情况下，这里谈到的memcached是1.2版本，1.1和1.2版本有一些差异。基本概念：Slab和chunk在Memcached内存结构中有两个非常重要的概念：slab 和 chunk，我们先从下图中对这两个概念有一个感性的认识：图1 memcached内存结构Slab是一个内存块，它是memcached一次申请内存的最小单位。在启动memca 阅读全文

摘要：一，什么负载均衡一个新网站是不要做负载均衡的，因为访问量不大，流量也不大，所以没有必要搞这些东西。但是随着网站访问量和流量的快速增长，单台服务器受自身硬件条件的限制，很难承受这么大的访问量。在这种情况下，有二种方案可以选择：1，对单台服务器的硬件进行更新，由双核的变成四核的，内存加大等。2，增加服务器的台数，来分担服务器的负担。以实现增加网络带宽，增加服务器的处理能力的目的。第一种方法可以理解为纵向发展，这种方法总是有限。第二种方法才是解决问题的正确选择实现负载均衡的方法，大至分为二个方向，一种是用软件来实现负载均衡，另一种是硬件实现负载均衡（包括结合硬件和软件）用软件来实现负载均衡，实现负载 阅读全文

摘要：前段时间趁空把《大规模web服务开发技术》这本书看完了，今天用一下午时间重新翻了一遍，把其中的要点记了下来，权当复习和备忘。由于自己对数据压缩、全文检索等还算比较熟，所以笔记内容主要涉及前5章内容，后面的零星记了一些。本文可能对如下人士比较有帮助：1、对这本书有兴趣，但对内容存疑的；2、对大规模Web服务有一定经验的，可对照着查漏补缺。Hatena的规模(2010年4月)注册用户150w，UU1900w/月请求数：几十亿/月繁忙时流量：850Mbps（不含图像）硬件（服务器）600台，通过虚拟化技术，主机超过1300台日志每天几GB级别，数据库GB到TB级别系统增长的战略最小化开端、预见变化的 阅读全文

摘要：一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。 但现在一致性hash算法在分布式系统中也得到了广泛应用，研究过memcached缓存数据库的人都知道，memcached服务器端本身不提供分布式cache的一致性，而是由客户端来提供，具体在计算一致性hash时采用如下步骤：首先求出memcached服务器（节点）的哈希值，并将其配置到0～232的圆（continuum）上。然. 阅读全文

摘要：目录 一、引言 二、个人网站 三、Oracle/支付宝/旺旺 四、淘宝技术发展（Java时代：脱胎换骨） 五、淘宝技术发展（Java时代：坚若磐石） 六、淘宝技术发展（Java时代：创造技术-TFS） 七、淘宝技术发展（分布式时代：服务化） 作者：赵超 一、引言 光棍节的狂欢 “时间到，开抢！”坐在电脑前早已等待多时的小美一看时间已到 2011 年 11 月 11 日零时，便迫不及待地投身于淘宝商城一年一度的大型网购促销活动 —— “淘宝双11购物狂欢节”。小美打开早已收藏好的宝贝 —— 某品牌的雪地靴，飞快的点击购买，付款，一回头发现 3000 双靴子已被抢购一空。 ... 阅读全文