摘要：
find命令查找某些文件并将其拷贝到指定目录 [root@host lib]# find -name "*hbase*.jar" |xargs -i cp {} /root/aaa/[root@host lib]# find /root/hbase-2.0.0/lib -name "*hbase*. 阅读全文
posted @ 2017-11-03 16:29 打杂滴 阅读(220) 评论(0) 推荐(0)
2017年11月3日
2017年11月2日
摘要：
1. 连接mysql 首先需要把mysql-connector-java-5.1.39.jar 拷贝到 spark 的jars目录里面； scala> import org.apache.spark.sql.SQLContextimport org.apache.spark.sql.SQLConte 阅读全文
posted @ 2017-11-02 16:28 打杂滴 阅读(235) 评论(0) 推荐(0)
2017年10月27日
摘要：
spark支持的常见文件格式如下: 文本,json,CSV,SequenceFiles,Protocol buffers,对象文件 1.文本 只需要使用文件路径作为参数调用SparkContext 中的textFile() 函数，就可以读取一个文本文件； scala> val lines=sc.te 阅读全文
posted @ 2017-10-27 15:11 打杂滴 阅读(2647) 评论(0) 推荐(0)
2017年10月18日
摘要：
combineByKey( createCombiner,mergeValue,mergeCombiners,partitioner) combineByKey() 是最为常用的基于键进行聚合的函数。大多数基于键聚合的函数都是用它实现的,如 groupByKey,reduceByKey等等。和agg 阅读全文
posted @ 2017-10-18 16:05 打杂滴 阅读(332) 评论(0) 推荐(0)
浙公网安备 33010602011771号