摘要：
1.1.1 reduce端连接-分区分组聚合 reduce端连接则是利用了reduce的分区功能将stationid相同的分到同一个分区，在利用reduce的分组聚合功能，将同一个stationid的气象站数据和温度记录数据分为一组，reduce函数读取分组后的第一个记录（就是气象站的名称）与其他记 阅读全文
posted @ 2020-02-16 23:35
一字千金
阅读(529)
评论(0)
推荐(0)
摘要：
1.1.1 map端连接- DistributedCache分布式缓存小数据集 当一个数据集非常小时，可以将小数据集发送到每个节点，节点缓存到内存中，这个数据集称为边数据。用map函数将小数据集中的数据按键聚合到大的数据集中，输出连接数据集，进行连接操作。 （1） 分布式缓存指定缓存文件 执行命令行 阅读全文
posted @ 2020-02-16 23:31
一字千金
阅读(382)
评论(0)
推荐(0)
浙公网安备 33010602011771号