摘要: morphline优化,如下: 传过来的时间戳被复制到3个字段:eventTimeInMinuteChina_tdt ,eventTimeInMinuteUTC_tdt ,eventTimeInHourUTC_tdt 。 eventTimeInMinuteChina_tdt:用于显示以及按中国时间来 阅读全文
posted @ 2016-12-28 17:40 Arli 阅读(913) 评论(0) 推荐(0) 编辑
摘要: 背景:利用kafka+flume+morphline+solr做实时统计。 solr从12月23号开始一直没有数据。查看日志发现,因为有一个同事加了一条格式错误的埋点数据,导致大量error。 据推断,是因为使用mem channel占满,消息来不及处理,导致新来的数据都丢失了。 修改flume使用 阅读全文
posted @ 2016-12-28 17:30 Arli 阅读(3010) 评论(0) 推荐(0) 编辑