2016年12月28日
实时事件统计项目:优化solr和morphline的时间字段
摘要： morphline优化，如下: 传过来的时间戳被复制到3个字段:eventTimeInMinuteChina_tdt ,eventTimeInMinuteUTC_tdt ,eventTimeInHourUTC_tdt 。 eventTimeInMinuteChina_tdt:用于显示以及按中国时间来 阅读全文
posted @ 2016-12-28 17:40 Arli 阅读(940) 评论(0) 推荐(0)
实时事件统计项目：优化flume:用file channel代替mem channel
摘要： 背景:利用kafka+flume+morphline+solr做实时统计。 solr从12月23号开始一直没有数据。查看日志发现,因为有一个同事加了一条格式错误的埋点数据，导致大量error。 据推断，是因为使用mem channel占满，消息来不及处理，导致新来的数据都丢失了。 修改flume使用 阅读全文
posted @ 2016-12-28 17:30 Arli 阅读(3028) 评论(0) 推荐(0)