摘要：
hive多分区写入 sql 多分区写入 set mapred.max.split.size=256000000; set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.max.dynamic.partitions=800; set 阅读全文
posted @ 2019-09-18 10:15
大数据-大道至简
阅读(4165)
评论(0)
推荐(0)
摘要：
清理hdfs小文件shell脚本 sh !/bin/bash echo " " echo "BASH_VERSION: $BASH_VERSION" echo "参数说明: " echo "从外部只传递零个参数时，遍历字典，删除 hdfs 对应日期下的文件目录" echo "从外部只传递一个参数时， 阅读全文
posted @ 2019-09-18 10:11
大数据-大道至简
阅读(858)
评论(0)
推荐(0)
摘要：
大数据应用建设开源工具 作业调度工具 Hera 分布式任务调度系统 "hera项目地址" hera 分布式任务调度系统 大数据任务调度系统 任务调度 （数据部门专用） hera分布式任务调度系统是根据前阿里开源调度系统(zeus)进行的二次开发，其中zeus大概在2014年开源，开源后却并未进行维护 阅读全文
posted @ 2019-09-18 10:10
大数据-大道至简
阅读(406)
评论(0)
推荐(0)
摘要：
中国工信.三大运营商号段 正则匹配 正则匹配测试 运营商号码段维表 表结构 初始化数据 init date: 2019 09 16 阅读全文
posted @ 2019-09-18 10:09
大数据-大道至简
阅读(1506)
评论(0)
推荐(0)
摘要：
sparkf:spark-sql替换hive查询引擎 阅读全文
posted @ 2019-09-18 10:08
大数据-大道至简
阅读(1472)
评论(0)
推荐(0)
摘要：
hivef:hive 执行 sql 文件 shell !/bin/bash yesterday= today= tomarrow= echo "从外部只传递两个参数时，第一个参数必须是 hive sql 文件，第二个必须是YYYY MM DD格式的日期!" echo "从外部只传递一个参数时，第一个 阅读全文
posted @ 2019-09-18 10:07
大数据-大道至简
阅读(2005)
评论(0)
推荐(0)
摘要：
hivef:hive 执行 sql 文件 阅读全文
posted @ 2019-09-18 10:05
大数据-大道至简
阅读(160)
评论(0)
推荐(0)
浙公网安备 33010602011771号