随笔分类 -  spark streaming

Spark Streaming job的生成及数据清理总结
摘要：关于这次总结还是要从一个bug说起。。。。。。。 场景描述：项目的基本处理流程为：从文件系统读取每隔一分钟上传的日志并由Spark Streaming进行计算消费，最后将结果写入InfluxDB中，然后在监控系统中进行展示，监控。这里的spark版本为2.2.1。 Bug：程序开发完成之后，每个ba 阅读全文
posted @ 2018-08-08 15:16 刘姥爷观园子 阅读(2852) 评论(4) 推荐(0)