2018年10月28日
Spark Streaming核心概念与编程
摘要： Spark Streaming核心概念与编程 1. 核心概念 StreamingContext Create StreamingContext StreamingContext的构造函数 batch interval 可以根据你的应用程序需求的延迟要求以及集群可用的资源状况来设置 创建Streami 阅读全文
posted @ 2018-10-28 23:49 eat.u 阅读(365) 评论(2) 推荐(0)
分布式日志收集框架Flume
摘要： 分布式日志收集框架Flume 1.业务现状分析 WebServer/ApplicationServer分散在各个机器上 想在大数据平台Hadoop进行统计分析 日志如何收集到Hadoop平台上 解决方案及存在的问题 如何解决我们的数据从其他的server上移动到Hadoop之上？ 1. shell: 阅读全文
posted @ 2018-10-28 23:45 eat.u 阅读(6573) 评论(0) 推荐(1)