09 2019 档案

spark安装
摘要：1、下载地址 http://spark.apache.org/downloads.html 2、解压 3、本地模式运行第一个程 参数说明： 4、进入shell编程模式 如果启动spark shell时没有指定master地址，但是也可以正常启动spark shell和执行spark shell中的程 阅读全文
posted @ 2019-09-05 11:44 我是属车的 阅读(637) 评论(0) 推荐(0)
hadoop mapreduce求解有序TopN（高效模式）
摘要：1、在map阶段对数据先求解改分片的topN，到reduce阶段再合并求解一次，求解过程利用TreeMap的排序特性，不用自己写算法。 2、样板数据，类似如下 3、code 3.1 mapper 3.2 reducer 3.3 driver 阅读全文
posted @ 2019-09-04 14:14 我是属车的 阅读(525) 评论(0) 推荐(0)