文章分类 -  数据处理

中国CEP(复杂事件处理)发展的春天
摘要:复杂事件处理 (Complex EventProgressing,CEP) 是一种新兴的基于事件流的技术,它将系统数据看作不同类型的事件,通过分析事件间的关系,建立不同的事件关系序列库,利用过滤、关联、聚合等技术,最终由 简单事件产生高级事件或商业流程。早在20世纪80年代,SQL的出现就解决了用结构化的方式查询数据的问题。90年代,Sybase率先提出触发器 (trigger)的理念,把事件处理和数据层紧密联系起来,随着数据的某种特征触发下游的动作。但触发器技术的干扰性较强,能够处理的数据量和复杂度有 限,且没有时间序列的概念。2000年左右有厂商开始在这个方向上做一些基于事件和数据流的处理 阅读全文

posted @ 2013-01-08 15:50 应无所住而生其心 阅读(625) 评论(0) 推荐(0)

使用 Twitter Storm 处理实时的大数据
摘要:Hadoop(大数据分析领域无可争辩的王者)专注于批处理。这种模型对许多情形(比如为网页建立索引)已经足够,但还存在其他一些使用模型,它们 需要来自高度动态的来源的实时信息。为了解决这个问题,就得借助 Nathan Marz 推出的 Storm(现在在 Twitter 中称为 BackType)。Storm 不处理静态数据,但它处理预计会连续的流数据。考虑到 Twitter 用户每天生成 1.4 亿条推文 (tweet),那么就很容易看到此技术的巨大用途。但 Storm 不只是一个传统的大数据分析系统:它是复杂事件处理 (CEP) 系统的一个示例。CEP 系统通常分类为计算和面向检测,其中每个 阅读全文

posted @ 2013-01-08 15:49 应无所住而生其心 阅读(231) 评论(0) 推荐(0)

导航