后山前堂客

2019年10月4日

摘要： 2.1 布尔值（首字符大写） True False 2.2 比较操作符 2.3 布尔操作符 and or not 2.4 混合布尔和比较操作符 >>> (4>8) and (5>0) False 2.5 控制流的元素控制条件代码块所仅增加，代码块开始代码块可以包含其他代码块缩进为零，或减少阅读全文

posted @ 2019-10-04 09:18 后山前堂客阅读(126) 评论(0) 推荐(0)

Python 学习笔记01【Python基础】

摘要： Python指的是 Python编程语言（包括语法规则，用于编写有效的python代码）和 Python解释器（读取Python源代码并执行）。 python解释器是运行python程序的软件， IDLE（交互式开发环境）是输入程序的地方，提示非常友好： Python程序执行 Python代码可以阅读全文

posted @ 2019-10-04 07:17 后山前堂客阅读(248) 评论(0) 推荐(0)

2019年5月3日

Linux 磁盘文件系统

摘要：磁盘文件系统阅读全文

posted @ 2019-05-03 10:44 后山前堂客阅读(218) 评论(0) 推荐(0)

2018年6月20日

concat_ws 使用在hive spark-sql上的区别

摘要： concat_ws（）在hive中，被连接对象必须为string或者array<string>,否则报错如下： hive> select concat_ws(',',unix_timestamp('2012-12-07 13:01:03'),unix_timestamp('2012-12-07 1 阅读全文

posted @ 2018-06-20 15:07 后山前堂客阅读(3137) 评论(0) 推荐(0)

2018年6月19日

小括号转义 '\\(' 或 '\\)'

摘要： select split("2405F5 (base 16) Integrated Device Technology (Malaysia) Sdn. Bhd.","\\(base 16\\)")[0] 输出结果为： 2405F5 阅读全文

posted @ 2018-06-19 21:13 后山前堂客阅读(2900) 评论(0) 推荐(0)

mock数据，尽量随机，采用中间表的方式实现

摘要：开发平台上的sql不能超过1000行，而为了插入尽可能随机的数据，sql比较长插入一行数据就需要执行80行sql，因此执行insert into mall_data.dtw_mall2_tmp values(***),(***)...这样格式数据插入，每次最多插入10条数据（800行sql）。如果阅读全文

posted @ 2018-06-19 15:21 后山前堂客阅读(809) 评论(0) 推荐(0)

mock数据，尽量随机，1次插入多条

摘要：建表，多设置一个字段id_tmp create table if not exists mall_data.dtw_mall2_adm_customer_d_tmp( id_tmp string comment '临时创建的id', mac_addr string comment 'Mac地址', 阅读全文

posted @ 2018-06-19 13:56 后山前堂客阅读(657) 评论(0) 推荐(0)

海量数据的表避避免全表扫描，否则导致系统宕机

摘要： INSERT OVERWRITE DIRECTORY '/abc/def/gk' ROW FORMAT delimited fields terminatd by '\t' stored as textfile select * from dtw.dtw_dwd_property_work_orde 阅读全文

posted @ 2018-06-19 09:34 后山前堂客阅读(232) 评论(0) 推荐(0)

hive 非等值连接，设置hive为nonstrict模式

摘要： 1 数据准备 create table stocks(id int, date string,price string, company string); insert into table stocks values (1,'2010-01-04','214.01','aapl'), (2,'20 阅读全文

posted @ 2018-06-19 00:36 后山前堂客阅读(6818) 评论(0) 推荐(0)

2018年6月18日

不同组的id列表的汇总对比

摘要：需求：三个不同的dfs中存在不同的多个节点id，现在需要求出不同的dfs之间的节点对应关系，比如，哪些节点在某一个dfs，但是不在另一个dfs中思路：一、如果是单纯计算dfs中节点数量，则可以使用scala，代码如下： 1 准备原始数据将原始数据存放在文本文件dfs_id中（本文通过sub 阅读全文

posted @ 2018-06-18 13:18 后山前堂客阅读(387) 评论(0) 推荐(0)

公告