2019年9月
向本地导入数据或者向hdfs导入数据，要先把原来的数据删除，或者把原来数据的文件夹内容全部删除
摘要： 向本地导入数据或者向hdfs导入数据，要先把原来的数据删除，或者把原来数据的文件夹内容全部删除 阅读全文
posted @ 2019-09-24 09:52 TryMyBest! 阅读(390) 评论(0) 推荐(0)
查询文件的位置
摘要： grep -H union_os_dw.dim_region *sh 阅读全文
posted @ 2019-09-23 21:30 TryMyBest! 阅读(165) 评论(0) 推荐(0)
删除文件命令
摘要： rm -rf /路径 阅读全文
posted @ 2019-09-23 20:25 TryMyBest! 阅读(113) 评论(0) 推荐(0)
复制脚本到本路径，并存为其他名
摘要： cp c.sh ./d.sh 阅读全文
posted @ 2019-09-23 18:28 TryMyBest! 阅读(117) 评论(0) 推荐(0)
查找Hadoop的文件
摘要： hadoop fs -ls hdfs://alg-hdfs/warehouse/browser/路径/dayno=${YYYYMMDD} | wc -l 或者 查看文件：hdfs dfs -ls hdfs://路径 上传文件（将路径1下的文件1上传到路径2）：hdfs dfs -put /路径1/文 阅读全文
posted @ 2019-09-23 16:50 TryMyBest! 阅读(2564) 评论(0) 推荐(0)
随机取数
摘要： DISTRIBUTE BY RAND() SORT BY RAND() LIMIT 10000000 阅读全文
posted @ 2019-09-23 09:30 TryMyBest! 阅读(148) 评论(0) 推荐(0)
if判断
摘要： if [ ${YYYYMMDD} -gt 20190830 ]; then v_source=" and source = 'oppo' "elsev_source=" and source = 'normal' "fi 阅读全文
posted @ 2019-09-20 10:06 TryMyBest! 阅读(164) 评论(0) 推荐(0)
hive中将敏感信息进行脱敏转换成不可逆的其他标识
摘要： hive中函数MD5具有此功能。 如何加盐值 MD5(concat('837c1f90ddb8f821523f2e2535785cae',字段))，其中837c1f90ddb8f821523f2e2535785cae是盐值，可以根据需要修改 阅读全文
posted @ 2019-09-16 17:37 TryMyBest! 阅读(1283) 评论(0) 推荐(0)
动态分区与静态分区
摘要： 静态分区在插数语句的后边就要添加字段和字段值后，不需要再sql的查询语句再添加该字段 动态分区再插数语句后边添加字段后，还需要在sql的查询语句的最后，把该字段加上 阅读全文
posted @ 2019-09-05 19:22 TryMyBest! 阅读(849) 评论(0) 推荐(0)
hive设置参数进行性能优化
摘要： set hive.merge.mapredfiles=true;set hive.merge.mapfiles=true;set mapred.max.split.size=5073741824;set dfs.block.size=1073741824;set mapreduce.map.memo 阅读全文
posted @ 2019-09-05 11:06 TryMyBest! 阅读(943) 评论(0) 推荐(0)