2018年6月17日
值字典的随机选择
摘要： 1 为了便于测试，需要mock一些数据，并尽可能随机散列，比如说要为每个客户随机生成一个字段值 到访客户 / 成交客户 / 会员客户实现方式： split('到访客户 成交客户 会员客户',' ')[cast(rand()*3 as int)] 通过rand()生成随机小数0-1之间 cast(do 阅读全文
posted @ 2018-06-17 22:59 后山前堂客 阅读(656) 评论(0) 推荐(0)
不同系统、不同存储格式（textfile， parquet）数据的传递
摘要： 描述： 本地测试环境hive中有数据，存储格式为textfile，现在要上传到公司开发环境，存储格式为parquet， 如何实现？？？ tb_textfile表 > local file >tb_parquet(❌) tb_textfile表 > local file >tb_textfile_tm 阅读全文
posted @ 2018-06-17 22:47 后山前堂客 阅读(3639) 评论(0) 推荐(0)
hive数据导出到本地目录 抛异常
摘要： 经过反复试验，最终重启hdfs和hive解决问题 1 hive> insert overwrite local directory '/Users/wooluwalker/Desktop/' select * from tb_test; 2 Total jobs = 1 3 Launching Jo 阅读全文
posted @ 2018-06-17 21:18 后山前堂客 阅读(685) 评论(0) 推荐(0)