2018年6月19日
小括号转义 '\\(' 或 '\\)'
摘要： select split("2405F5 (base 16) Integrated Device Technology (Malaysia) Sdn. Bhd.","\\(base 16\\)")[0] 输出结果为： 2405F5 阅读全文
posted @ 2018-06-19 21:13 后山前堂客 阅读(2900) 评论(0) 推荐(0)
mock数据，尽量随机，采用中间表的方式实现
摘要： 开发平台上的sql不能超过1000行，而为了插入尽可能随机的数据，sql比较长 插入一行数据就需要执行80行sql，因此执行insert into mall_data.dtw_mall2_tmp values(***),(***)...这样格式数据插入，每次最多插入10条数据（800行sql）。如果 阅读全文
posted @ 2018-06-19 15:21 后山前堂客 阅读(809) 评论(0) 推荐(0)
mock数据，尽量随机，1次插入多条
摘要： 建表，多设置一个字段id_tmp create table if not exists mall_data.dtw_mall2_adm_customer_d_tmp( id_tmp string comment '临时创建的id', mac_addr string comment 'Mac地址', 阅读全文
posted @ 2018-06-19 13:56 后山前堂客 阅读(657) 评论(0) 推荐(0)
海量数据的表避避免全表扫描，否则导致系统宕机
摘要： INSERT OVERWRITE DIRECTORY '/abc/def/gk' ROW FORMAT delimited fields terminatd by '\t' stored as textfile select * from dtw.dtw_dwd_property_work_orde 阅读全文
posted @ 2018-06-19 09:34 后山前堂客 阅读(232) 评论(0) 推荐(0)
hive 非等值连接， 设置hive为nonstrict模式
摘要： 1 数据准备 create table stocks(id int, date string,price string, company string); insert into table stocks values (1,'2010-01-04','214.01','aapl'), (2,'20 阅读全文
posted @ 2018-06-19 00:36 后山前堂客 阅读(6818) 评论(0) 推荐(0)