随笔分类 -  大数据架构

摘要：美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。 《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。 第一部分架构和设计，将主要着眼于日志收 阅读全文

摘要：虽然比较久，但是这套架构已经很成熟了，记录一下 一般数据流向，从“数据采集--数据接入--流失计算--数据输出/存储”<ignore_js_op> 1）.数据采集 负责从各节点上实时采集数据，选用cloudera的flume来实现 2）.数据接入 由于采集数据的速度和数据处理的速度不一定同步，因此添 阅读全文