摘要：
在windows 使用eclipse远程调用hadoop集群时抛出下面异常 这个问题 （1）你没有设置hadoop的环境变量，所以提示 null\bin\....... （2）你没有 winutils.exe winutils.exe的下载地址：https://github.com/srccodes 阅读全文
posted @ 2017-06-05 22:21
卖臭豆腐喽
阅读(536)
评论(0)
推荐(0)
摘要：
这里使用的mysql是 mysql-5.7.16 将下载下来的mysql 安装tar包下载解压这就不用多说了， ps:（mysql-5.7.16-linux-glibc2.5-x86_64 这名字太长了，我把他改为mysql-5.7.16） 首先 （1）配置环境变量 （2）新增mysql的用户和组 阅读全文
posted @ 2017-06-04 18:37
卖臭豆腐喽
阅读(3736)
评论(0)
推荐(0)
摘要：
sparkStreaming是以连续bathinterval为单位，进行bath计算，在流式计算中，如果我们想维护一段数据的状态，就需要持久化上一段的数据，sparkStreaming提供的MapwithState函数，用于更新数据状态。 例子：（更新用户当前的操作状态） 1:定义用户会话类 pac 阅读全文
posted @ 2017-04-28 03:12
卖臭豆腐喽
阅读(2301)
评论(0)
推荐(0)
摘要：
这个配是我在http://www.cnblogs.com/zhangXingSheng/p/6646972.html 的基础上再添加的配置 设置多个消息集群 （1）复制两份配置文件 （2）编辑配置文件 server1.properties server2.propreties (3)启动这个两个消息 阅读全文
posted @ 2017-03-30 22:46
卖臭豆腐喽
阅读(7721)
评论(1)
推荐(0)
摘要：
启动kafka服务 【 bin/kafka-server-start.sh config/server.properties 】 [root@zhangxs kafka_2.11]# bin/kafka-server-start.sh config/server.properties [2017-0 阅读全文
posted @ 2017-03-30 16:47
卖臭豆腐喽
阅读(13678)
评论(1)
推荐(1)
摘要：
Consumer代码 import org.apache.spark.SparkConf import org.apache.spark.streaming.StreamingContext import org.apache.spark.streaming.Seconds import org.a 阅读全文
posted @ 2017-03-30 16:38
卖臭豆腐喽
阅读(687)
评论(0)
推荐(0)
摘要：
（1）下载kafka的jar包 http://kafka.apache.org/downloads spark2.1 支持kafka0.8.2.1以上的jar,我是spark2.0.2,下载的kafka_2.11-0.10.2.0 （2）Consumer代码 package com.sparkstr 阅读全文
posted @ 2017-03-30 16:35
卖臭豆腐喽
阅读(15617)
评论(0)
推荐(0)
摘要：
从hdfs上加载文件并创建graph scala> var graphs = GraphLoader.edgeListFile(sc,"/tmp/dataTest/graphTest.txt") graphs: org.apache.spark.graphx.Graph[Int,Int] = org 阅读全文
posted @ 2017-03-23 19:48
卖臭豆腐喽
阅读(1350)
评论(0)
推荐(0)
摘要：
（小案例，有五个人他们参见相亲节目，这个五个人分别是0,1,2,3,4,号选手，计算出追随者年龄大于被追随者年龄的人数和平均年龄） scala> import org.apache.spark._ import org.apache.spark._ scala> import org.apache. 阅读全文
posted @ 2017-03-23 19:48
卖臭豆腐喽
阅读(458)
评论(0)
推荐(0)
摘要：
ation算子通过sparkContext执行提交作业的runJob，触发rdd的DAG执行 （foreach） foreach（f） 会对rdd中的每个函数进行f操作，下面的f操作就是打印输出没有元素 saveAsTextFile foreach（f） 会对rdd中的每个函数进行f操作，下面的f操 阅读全文
posted @ 2017-03-23 19:24
卖臭豆腐喽
阅读(603)
评论(0)
推荐(0)
浙公网安备 33010602011771号