03 2020 档案

摘要:原帖地址:http://www.ptbird.cn/mapreduce-tempreture.html 「 Hadoop」mapreduce对温度数据进行自定义排序、分组、分区等 一、需求说明 1、数据文件说明 hdfs中有一些存储温度的数据文件,以文本形式存储,示例如下: 日期和时间中间是空格,为 阅读全文
posted @ 2020-03-12 00:21 凌羽 阅读(506) 评论(0) 推荐(0)
摘要:方案1:使用shell脚本进行do while循环,挨个分区输出。从开始的分区一直循环到结束分区即可。本例子为月,若需日,改为%Y-%m-%d即可,-1month改为-1day即可 partition_month=`date -d "$start_date" +"%Y-%m"`partition_m 阅读全文
posted @ 2020-03-10 15:58 凌羽 阅读(1682) 评论(0) 推荐(0)