摘要：
Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架（原来是由BackType开发，后BackType被Twitter收购，将Storm作为Twitter的实时数据分析）。实时数据处理的应用场景很广泛，如上篇文章介绍S4时所说的个性化搜索广告的会话特征分析。而Yahoo当初创建S4项目的直接业务需求就是为了在搜索引擎的‘cost-per-click’广告中，能根据当前情景上下文（用户偏好，地理位置，已发生的查询和点击等）来估计用户点击的可能性并实时做出调整。 这种高可拓展性，能处理高频数据和大规模数据的实时流计算解决方案将被应用于实时搜索，高频交易和社交网络上。而流计算并. 阅读全文
随笔分类 - stream computing, real-time computing
Yahoo!S4分布式流处理引擎分析总结
2012-02-03 15:21 by Aga.J, 5456 阅读, 收藏, 编辑
摘要：
S4(Simple Scalable Streaming System)是一个分布式流处理引擎，开发者可以在这个引擎基础上开发面向无界的，不间断的流数据处理应用。 什么是流数据处理应用？例如，为了个性化搜索广告，系统需要实时处理来自几百万唯一用户每秒成千上万次的查询，并即时分析用户的会话特征来提高广告相关性预测模型的准确度。流数据处理应用要求我们的系统可以接受大量的，不间断的数据（称为流式数据），并可以迅速做出数据处理，S4正是完成这样一个需求。 S4的设计思想 S4将一个流抽象为由(K,A)形式的元素组成的序列，这里K和A分别是键和属性。在这种抽象的基础上S4设计了能够消费和发出这些(K,. 阅读全文