2016年4月26日
Flume推送数据到SparkStreaming案例实战和内幕源码解密
摘要： 本期内容： 1. Flume on HDFS案例回顾 2. Flume推送数据到Spark Streaming实战 3. 原理绘图剖析 1. Flume on HDFS案例回顾 上节课要求大家自己安装配置Flume，并且测试数据的传输。我昨天是要求传送的HDFS上。 文件配置： ~/.bashrc: 阅读全文
posted @ 2016-04-26 00:09 VV一笑2016 阅读(812) 评论(0) 推荐(0)
2016年4月25日
SparkStreaming数据源Flume实际案例分享
摘要： 一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、 阅读全文
posted @ 2016-04-25 23:56 VV一笑2016 阅读(1611) 评论(0) 推荐(0)
基于HDFS的SparkStreaming案例实战和内幕源码解密
摘要： 一：Spark集群开发环境准备 通过web端查看节点正常启动，如下图所示： 2.启动Spark集群，如下图所示： 通过web端查看集群启动正常，如下图所示： 3.启动start-history-server.sh，如下图所示： 二：HDFS的SparkStreaming案例实战（代码部分） pack 阅读全文
posted @ 2016-04-25 23:48 VV一笑2016 阅读(529) 评论(0) 推荐(0)
Scala和Java二种方式实战Spark Streaming开发
摘要： 一、Java方式开发 1、开发前准备：假定您以搭建好了Spark集群。 2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。 3、Spark streaming 基于Spark Core进行计算，需要注意事项： 设置本地master，如果指定local的话，必 阅读全文
posted @ 2016-04-25 23:18 VV一笑2016 阅读(943) 评论(0) 推荐(0)
2016年4月19日
StreamingContext、DStream、Receiver深度剖析
摘要： 本课分成四部分讲解，第一部分对StreamingContext功能及源码剖析；第二部分对DStream功能及源码剖析；第三部分对Receiver功能及源码剖析；最后一部分将StreamingContext、DStream、Receiver结合起来分析其流程。 一、StreamingContext功能 阅读全文
posted @ 2016-04-19 09:39 VV一笑2016 阅读(1116) 评论(1) 推荐(1)
2016年4月18日
案例动手实战并在电光石火间理解其工作原理
摘要： 本期内容： 1、Spark Streaming 动手实战演示 2、闪电般理解Spark Streaming原理 3、案例动手实战并在电光石火间理解其工作原理 流（Streaming），在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。 日 阅读全文
posted @ 2016-04-18 12:19 VV一笑2016 阅读(688) 评论(0) 推荐(1)