04 2016 档案

Spark Streaming从Flume Poll数据案例实战和内幕源码解密
摘要：本节课分成二部分讲解： 一、Spark Streaming on Polling from Flume实战 二、Spark Streaming on Polling from Flume源码 第一部分： 推模式(Flume push SparkStreaming) VS 拉模式（SparkStrea 阅读全文
posted @ 2016-04-30 13:54 VV一笑2016 阅读(586) 评论(0) 推荐(0)
Spark Streaming updateStateByKey案例实战和内幕源码解密
摘要：本节课程主要分二个部分： 一、Spark Streaming updateStateByKey案例实战二、Spark Streaming updateStateByKey源码解密 第一部分： updateStateByKey的主要功能是随着时间的流逝，在Spark Streaming中可以为每一个可 阅读全文
posted @ 2016-04-30 09:59 VV一笑2016 阅读(4134) 评论(0) 推荐(2)
Spark Streaming on Kafka解析和安装实战
摘要：本课分2部分讲解： 第一部分，讲解Kafka的概念、架构和用例场景； 第二部分，讲解Kafka的安装和实战。 由于时间关系，今天的课程只讲到如何用官网的例子验证Kafka的安装是否成功。后续课程会接着讲解如何集成Spark Streaming和Kafka。 一、Kafka的概念、架构和用例场景 ht 阅读全文
posted @ 2016-04-26 00:22 VV一笑2016 阅读(2453) 评论(1) 推荐(0)
Flume推送数据到SparkStreaming案例实战和内幕源码解密
摘要：本期内容： 1. Flume on HDFS案例回顾 2. Flume推送数据到Spark Streaming实战 3. 原理绘图剖析 1. Flume on HDFS案例回顾 上节课要求大家自己安装配置Flume，并且测试数据的传输。我昨天是要求传送的HDFS上。 文件配置： ~/.bashrc: 阅读全文
posted @ 2016-04-26 00:09 VV一笑2016 阅读(819) 评论(0) 推荐(0)
SparkStreaming数据源Flume实际案例分享
摘要：一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、 阅读全文
posted @ 2016-04-25 23:56 VV一笑2016 阅读(1617) 评论(0) 推荐(0)
基于HDFS的SparkStreaming案例实战和内幕源码解密
摘要：一：Spark集群开发环境准备 通过web端查看节点正常启动，如下图所示： 2.启动Spark集群，如下图所示： 通过web端查看集群启动正常，如下图所示： 3.启动start-history-server.sh，如下图所示： 二：HDFS的SparkStreaming案例实战（代码部分） pack 阅读全文
posted @ 2016-04-25 23:48 VV一笑2016 阅读(531) 评论(0) 推荐(0)
Scala和Java二种方式实战Spark Streaming开发
摘要：一、Java方式开发 1、开发前准备：假定您以搭建好了Spark集群。 2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。 3、Spark streaming 基于Spark Core进行计算，需要注意事项： 设置本地master，如果指定local的话，必 阅读全文
posted @ 2016-04-25 23:18 VV一笑2016 阅读(952) 评论(0) 推荐(0)
StreamingContext、DStream、Receiver深度剖析
摘要：本课分成四部分讲解，第一部分对StreamingContext功能及源码剖析；第二部分对DStream功能及源码剖析；第三部分对Receiver功能及源码剖析；最后一部分将StreamingContext、DStream、Receiver结合起来分析其流程。 一、StreamingContext功能 阅读全文
posted @ 2016-04-19 09:39 VV一笑2016 阅读(1120) 评论(1) 推荐(1)
案例动手实战并在电光石火间理解其工作原理
摘要：本期内容： 1、Spark Streaming 动手实战演示 2、闪电般理解Spark Streaming原理 3、案例动手实战并在电光石火间理解其工作原理 流（Streaming），在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。 日 阅读全文
posted @ 2016-04-18 12:19 VV一笑2016 阅读(696) 评论(0) 推荐(1)