lambda架构
大数据时代:3V
集中存储/集中计算依据无法处理巨大的数据量:
Volume 海量数据 ,Velocity 更新频率高 ,Variety 多类别
Lambda系统架构提供了一个结合实时数据和Hadoop预先计算的数据环境的混合平台,以提供一个实时的数据视图
分层架构:
批处理层,实时处理层,服务层(面向终端客户)
批处理层特点:
数据不可变(append only)
可进行任何计算
水平扩展
数据量大
高延迟
根据计算量和数据量的不同,运行时间可能几分钟到几个小时
批处理层:产生视图
实时处理层:
流式处理,持续计算,存储和分析某个窗口期内的数据:比如5分钟内,最终正确性:有些算法很难实时运算,此时采用估算值即可
实时数据分析:Storm
实时处理层:视图存储数据库,与批处理层一样