|
摘要：
1. Sqoop import 任务里把原来NULL的转化成字符串‘null’了。 解决方法： 先： alter table ${table_name} SET SERDEPROPERTIES('serialization.null.format' = '\\N'); 再： sqoop代码最后面加上 阅读全文
posted @ 2018-12-21 15:18
Suckseedeva
阅读(532)
评论(0)
推荐(0)
摘要：
获取当前日期 SELECT CURRENT_DATE, CURRENT_TIMESTAMP, from_unixtime(unix_timestamp()); 上个月1号 concat(substr(date_sub('${bizdate}',1),1,7),'-01') 上个月最后一天 date_ 阅读全文
posted @ 2018-12-20 16:13
Suckseedeva
阅读(2375)
评论(0)
推荐(0)
摘要：
1. 梳理出你要的列和行维度 列维度: 每一周 行维度: 年级 + 学科 + 班型 2. 对数据按周增序进行聚合 (即根据列维度) ,生成list concat_ws 和 collect_list (collect_set 会去重后再聚合) 顺序随机 sort_array 只能增序，要倒序排的话在子 阅读全文
posted @ 2018-12-18 16:42
Suckseedeva
阅读(1095)
评论(0)
推荐(0)
摘要：
https://www.cnblogs.com/Zhi-Z/p/8728168.html 阅读全文
posted @ 2018-11-22 10:53
Suckseedeva
阅读(842)
评论(0)
推荐(0)
摘要：
1.如何获取中文字符串的首字母 2. 判断文件夹是否存在, 存在删除，不存在创建 阅读全文
posted @ 2018-09-19 09:41
Suckseedeva
阅读(748)
评论(0)
推荐(0)
摘要：
1. 修改全部列名 df.columns 2. 修改指定列名 df.rename 阅读全文
posted @ 2018-09-19 09:34
Suckseedeva
阅读(22204)
评论(0)
推荐(1)
摘要：
1. 数据样本 2. format 把cust_per打印成百分值输出 iloc取指定位置的元素 3. 把打印出来的百分值拼接起来 4. 调整图例和图的位置 5. 保存 matlibplot.plot 画出来的图 阅读全文
posted @ 2018-09-18 17:47
Suckseedeva
阅读(8754)
评论(0)
推荐(0)
摘要：
目前搜到的是，下载一个字体到程序路径，设置成默认字体。 https://blog.csdn.net/irene_loong/article/details/68955485 阅读全文
posted @ 2018-09-11 18:00
Suckseedeva
阅读(1965)
评论(0)
推荐(0)
摘要：
1. 查看各库的存储大小 hdfs dfs -du -h /user/hive/warehouse 2. 删除HDFS 文件 hdfs dfs -rmr 绝对路径名 例如：hdfs dfs -rmr /user/hive/warehouse/xhx_dw.db/dw_homework_questio 阅读全文
posted @ 2018-07-19 11:55
Suckseedeva
阅读(938)
评论(0)
推荐(0)
摘要：
1 MySQL 到 Hive 表的sqoop任务把 原本的NULL 变成字符串 ‘null’ 了 alter table ${table_name} SET SERDEPROPERTIES('serialization.null.format' = '\\N'); -- 修改表的NULL值属性 sq 阅读全文
posted @ 2018-07-10 10:32
Suckseedeva
阅读(4220)
评论(0)
推荐(0)
|
浙公网安备 33010602011771号