摘要：概要 本节主要讲解在开发环境中编写SparkStreaming代码监控hdfs目录，实现实时wordCount计算。 先通过Java方式演示过程，并在文末提供Scala版本代码。 一、环境准备 1.启动Hadoop集群 2.启动Spark集群 二、代码实战 1.定义成员变量 2.配置SparkCon 阅读全文

摘要：一、Java方式开发 1、开发前准备 假定您以搭建好了Spark集群。 2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。 3、Spark streaming 基于Spark Core进行计算，需要注意事项： 设置本地master，如果指定local的话，必 阅读全文