摘要：
数据导入有如下几种方式： 1．利用HBase提供的ImportTsv将csv文件导入到HBase （舍弃） 2．利用HBase提供的completebulkload将数据导入到HBase 3．利用HBase提供的Import将数据导入到HBase（舍弃） 实际生产环境上很难使用命令行的方式。毕竟源数 阅读全文
posted @ 2018-04-30 18:50
Dlimeng
阅读(11)
评论(0)
推荐(0)
摘要：
spark源码系列03-任务提交01：https://blog.csdn.net/qq_19968255/article/details/82803794 12. DAGScheduler getShuffleMapStage 创建父Stage val stage =newOrUsedStage(… 阅读全文
posted @ 2018-04-30 18:08
Dlimeng
阅读(8)
评论(0)
推荐(0)
摘要：
url: spark源码系列03-任务提交01 12. DAGScheduler getShuffleMapStage 创建父Stage val stage =newOrUsedStage(…… 13. DAGScheduler newOrUsedStage 递归 val stage = newSt 阅读全文
posted @ 2018-04-30 18:08
Dlimeng
阅读(8)
评论(0)
推荐(0)
摘要：
用spark版本1.3+ val conf=new SparkConf().setAppName("WordCount") val sc=new SparkContext(conf) //构建RDD并调用Transformation //textFile创建一个hadoopRdd，产生一个MapPa 阅读全文
posted @ 2018-04-30 17:46
Dlimeng
阅读(9)
评论(0)
推荐(0)
浙公网安备 33010602011771号