摘要： 周末用app engine随便做了个google wave类似的评论系统demo 地址是: http://xiaoyuan-huodong.appspot.com/ 阅读全文

摘要： Eucalyptus架构特征 非侵入式 高度模块化(highly modular cooperative) 采用公开,标准的通信协议 API与AWS兼容(SOAP & REST) 阅读全文

摘要： 个人总结的一套基于hadoop的海量数据挖掘的开源解决方案. 阅读全文

摘要： Datanode在把数据实际存储之前会验证数据的校验和. client通过pipeline把数据写入datanode. 最后一个datanode会负责检查校验和. 当client从datanode读取数据时,也会检查校验和: 把真实数据的校和合同datanode上的校验和进行比较. 阅读全文

摘要： hadoop设计的初衷就是容错.计算任务(MapReduce task)能够在节点宕机或其它随机错误下自行恢复. 但是hadoop并不完美,在实际运营中,我发现MapReduce Job仍然经常会因为一些偶发性错误而 运行失败.所以我决定深入探究一下各种不同因素是如何导致job失败的. 如果一个hadoop job的某个给定task在失败预定次(默认是4)后,整个job就会失败. 这可以通过"mapred.map.max.attempts"和"mapred.reduce.max.attempts"属性来设置. 一个task可能由于各种偶发原因而失败 - 比如我发现的情况就有磁盘满,hadoop本身的bug,或者硬件失效(e.g.: 磁盘只读). 阅读全文

摘要： 聊天模式无非点对点聊天和群组聊天.下面一一来分析.1. Peer-to-Peer聊天消息格式:[from, to, body, timestamp, isread].(根据from来识别是个人还是group消息)消息读取方式标记模式置位模式是否要存储:不需要需要[Group Chatting]:标记模式每个用户拥有一个timestamp类型的消息游标.(sequence number不利于shar... 阅读全文

摘要： 分布式系统的3个特征 - consistency, availability, partition tolerance - 只能选其二. 阅读全文

摘要： 关于Google App Engine应用开发的一些技巧 阅读全文

摘要： hadoop Map Stage流程分析 阅读全文

摘要： TaskScheduler是作业调度器的抽象基类. 具体的实现有: JobQueueTaskScheduler: 默认的FIFO调度队列 LimitTasksPerJobTaskScheduler: 扩展自JobQueueTaskScheduler, 可以对每个Job的task总数作限制. CapacityScheduler: Yahoo开发的一个基于容量的作业调度器 FairScheduler: 公平调度器, 保证小任务得到快速响应, 大任务保证服务水平, 由facebook开发. 阅读全文