03 2017 档案

kafka 小案例【二】 --kafka 设置多个消费着集群
摘要：这个配是我在http://www.cnblogs.com/zhangXingSheng/p/6646972.html 的基础上再添加的配置 设置多个消息集群 （1）复制两份配置文件 （2）编辑配置文件 server1.properties server2.propreties (3)启动这个两个消息 阅读全文
posted @ 2017-03-30 22:46 卖臭豆腐喽 阅读(7724) 评论(1) 推荐(0)
kafka 小案例【一】---设置但个消息集群
摘要：启动kafka服务 【 bin/kafka-server-start.sh config/server.properties 】 [root@zhangxs kafka_2.11]# bin/kafka-server-start.sh config/server.properties [2017-0 阅读全文
posted @ 2017-03-30 16:47 卖臭豆腐喽 阅读(13680) 评论(1) 推荐(1)
sparkstreaming+socket workCount 小案例
摘要：Consumer代码 import org.apache.spark.SparkConf import org.apache.spark.streaming.StreamingContext import org.apache.spark.streaming.Seconds import org.a 阅读全文
posted @ 2017-03-30 16:38 卖臭豆腐喽 阅读(688) 评论(0) 推荐(0)
spark+kafka 小案例
摘要：（1）下载kafka的jar包 http://kafka.apache.org/downloads spark2.1 支持kafka0.8.2.1以上的jar,我是spark2.0.2,下载的kafka_2.11-0.10.2.0 （2）Consumer代码 package com.sparkstr 阅读全文
posted @ 2017-03-30 16:35 卖臭豆腐喽 阅读(15621) 评论(0) 推荐(0)
在集群中使用文件加载graph
摘要：从hdfs上加载文件并创建graph scala> var graphs = GraphLoader.edgeListFile(sc,"/tmp/dataTest/graphTest.txt") graphs: org.apache.spark.graphx.Graph[Int,Int] = org 阅读全文
posted @ 2017-03-23 19:48 卖臭豆腐喽 阅读(1353) 评论(0) 推荐(0)
graph小案例
摘要：（小案例，有五个人他们参见相亲节目，这个五个人分别是0,1,2,3,4,号选手，计算出追随者年龄大于被追随者年龄的人数和平均年龄） scala> import org.apache.spark._ import org.apache.spark._ scala> import org.apache. 阅读全文
posted @ 2017-03-23 19:48 卖臭豆腐喽 阅读(460) 评论(0) 推荐(0)
（三）spark算子 分为3大类
摘要：ation算子通过sparkContext执行提交作业的runJob，触发rdd的DAG执行 （foreach） foreach（f） 会对rdd中的每个函数进行f操作，下面的f操作就是打印输出没有元素 saveAsTextFile foreach（f） 会对rdd中的每个函数进行f操作，下面的f操 阅读全文
posted @ 2017-03-23 19:24 卖臭豆腐喽 阅读(607) 评论(0) 推荐(0)
（二）spark算子 分为3大类
摘要：transgormation的算子对key-value类型的数据有三种： （1）输入 与 输出为一对一关系 mapValue();针对key-value类型的数据并只对其中的value进行操作，不对key进行操作 （2）对单个rdd聚集 （2）对单个rdd聚集 combineByKey 相当于将(v 阅读全文
posted @ 2017-03-23 19:21 卖臭豆腐喽 阅读(716) 评论(0) 推荐(0)
（一）spark算子 分为3大类
摘要：value类型的算子 处理数据类型为value型的算子（也就是这个算子只处理数据类型为value的数据），可以根据rdd的输入分区与输出分区的关系分为以下几个类型 （1）输入分区与输出分区一对一型 map型：对rdd的每个数据项，通过用户自定义的函数映射转换成一个新的rdd 上面4个方框表示4个rd 阅读全文
posted @ 2017-03-23 19:18 卖臭豆腐喽 阅读(2502) 评论(0) 推荐(0)
centos7 配置ssh 免密码登陆
摘要：我只有一台机器，是因为要配置hadoop分布式环境用，需要配置ssh 两个用户: zhangxs, root 首先在切换到zhangxs用户下 执行【 ssh-keygen -t rsa】 【cp id_rsa.pub authorized_keys】 复制文件 【ssh localhost】 以s 阅读全文
posted @ 2017-03-19 16:16 卖臭豆腐喽 阅读(412) 评论(0) 推荐(0)
centos7 配置静态ip
摘要：centos7 跟centos6有一些不同的 查看你的网络接口哪些受网络管理器管理 vi etc/sysconfig/network-scripts/ifcfg-enp1s0f0 ping www.baidu.com ok配置完成 阅读全文
posted @ 2017-03-19 15:39 卖臭豆腐喽 阅读(6359) 评论(0) 推荐(1)
centos7 firefox 安装flash
摘要：在官网下载flash的tar包 https://get.adobe.com/flashplayer/?spm=a2h0j.8191423.movie_player.5~5~5~8~A 在下载tar包的目录执行 再执行 安装完成 重起浏览器即可 阅读全文
posted @ 2017-03-18 23:26 卖臭豆腐喽 阅读(2763) 评论(0) 推荐(0)
centos7 中文输入法设置
摘要：安装centos7 后，他有自带的中文输入法安装包找到 applications->systemTools->settings->region&language 2:在 input source 有个"+"号，添加中文输入 第一页如果没有，就点击最下面那个“三个点“，输入chinese，第二个就是 阅读全文
posted @ 2017-03-18 20:07 卖臭豆腐喽 阅读(16646) 评论(0) 推荐(0)
centos7 改变终端背景色
摘要：首先打开终端 2：选择 edit->preferences->profile 3: "model1"是我自己改的名字，最开始是"unname"。双击“model1”, 选择 colours 4；勾选“use transparent background” 使用透明背景 其他的一些设置，可以根据自己的 阅读全文
posted @ 2017-03-18 19:49 卖臭豆腐喽 阅读(6924) 评论(0) 推荐(0)
spark sql的简单操作
摘要：测试数据 sparkStu.text zhangxs 24 chenxy wangYr 21 teacher wangx 26 teacher sparksql { "name":"zhangxs","age":24,"job":"chengxy", "name":"li","age":21,"jo 阅读全文
posted @ 2017-03-06 23:29 卖臭豆腐喽 阅读(11439) 评论(0) 推荐(0)
scala 编写wordCount
摘要：加载文件 scala> var f1=sc.textFile("/tmp/dataTest/followers.txt") scala> var f1=sc.textFile("/tmp/dataTest/followers.txt") scala> f1.flatMap(x=>x.split("- 阅读全文
posted @ 2017-03-06 23:23 卖臭豆腐喽 阅读(5020) 评论(0) 推荐(0)
spark 的一些常用函数 filter，map，flatMap，lookup ，reduce，groupByKey
摘要：定义不带参数也不带返回值的函数（def :定义函数的关键字 printz:方法名称） scala> def printz = print("scala hello") 定义带参数也带返回值的函数（这种函数在定义时也可以不带返回值的类型，scala会自动推算出。建议还是带上） scala> def m 阅读全文
posted @ 2017-03-06 23:04 卖臭豆腐喽 阅读(14859) 评论(1) 推荐(0)
解析spark RDD
摘要：RDD是spark抽象的基石，可以说整个spark编程就是对RDD进行的操作 RDD是弹性的分布式数据集，它是只读的，可分区的，这个数据集的全部或者部分数据可以缓存在内存中，在多次计算间重用。所谓的弹性意思是：内存不够时可以与磁盘进行交换。这是RDD另一个特性：内存计算。就是将数据保存到内存中，同时 阅读全文
posted @ 2017-03-06 22:43 卖臭豆腐喽 阅读(371) 评论(0) 推荐(0)
eclipse编写scala应用运行在spark集群上
摘要：代码 输出结果 阅读全文
posted @ 2017-03-06 22:36 卖臭豆腐喽 阅读(585) 评论(0) 推荐(0)
spark-submit 提交任务
摘要：将工程打成jar 放入到linux中 切换到[root@node4 Desktop]# cd /usr/local/development/spark-2.0-hadoop2.6/bin/ 输入命令 打印出结果 阅读全文
posted @ 2017-03-06 22:29 卖臭豆腐喽 阅读(1235) 评论(0) 推荐(0)