随笔分类 -  Spark

Scala创建SparkStreaming获取Kafka数据代码过程
摘要：正文 首先打开spark官网，找一个自己用版本我选的是1.6.3的，然后进入SparkStreaming ，通过搜索这个位置找到Kafka， 点击过去会找到一段Scala的代码 如果想看createStream方法，可以值通过SparkStreaming中的 Where to go from her 阅读全文
posted @ 2017-10-11 12:48 xiaoyon 阅读(3671) 评论(0) 推荐(0)
Spark Streaming socketTextStream简单demo
摘要：正文 SparkStreaming的入口是StreamingContext，通过scala实现 一个简单的实时获取数据。代码SparkStreaming官网也可以找到。 通过maven配置相关的配置，可能有时候会遇到如下情况： 找到你的maven配置pop.xml,将对应的spark-streami 阅读全文
posted @ 2017-09-18 19:17 xiaoyon 阅读(3099) 评论(0) 推荐(0)
Spark HA搭建
摘要：正文 下载Spark版本，这版本又要求必须和jdk与hadoop版本对应。 tar -zxvf 解压到指定目录，进入conf进行培训。spark-env.sh.template 改为 spark-env.sh，注册 export SPARK_DAEMON_JAVA_OPTS="-Dspark.dep 阅读全文
posted @ 2017-09-07 09:10 xiaoyon 阅读(556) 评论(0) 推荐(0)