楔子

摘要： 参考 https://blog.csdn.net/qq_34105362/article/details/80454697 hive提供了json的解析函数：get_json_object(string json_string, string path) 第一个参数填写json对象变量，第二个参数使 阅读全文

摘要： #!/bin/bash begin_date=$1 end_date=$2 target_table=bst_agg_car_driver_work_time_d v_dt_year=${begin_date:0:4} echo $v_dt_year,$begin_date,$end_date qu 阅读全文

摘要： UDTF（User-Defined Table-Generating Functions）一进多出，如lateral view explore() 实现方法： 1）继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF 2）重写initialize、p 阅读全文

摘要： 查看使用方式： desc function str_to_map; str_to_map(字符串参数, 分隔符1, 分隔符2) 使用两个分隔符将文本拆分为键值对。 分隔符1将文本分成K-V对，分隔符2分割每个K-V对。对于分隔符1默认分隔符是 ','，对于分隔符2默认分隔符是 '=' 使用 说明：存 阅读全文

摘要： select tmp.*, case when pos = 0 and date_add(start_date, pos) < start_date then date_format(start_date, 'yyyy-MM-dd HH:mm:ss') else concat(date_format 阅读全文

摘要： 1）数据由一行变成两行，导致输出到Hive表数据缺失。 处理：在源头上处理下字段内容，将空格,\n等一些特殊字符处理掉 TRIM(BOTH FROM replace(o.refund_reason,'\n','')) as refund_reason 阅读全文

摘要： 1. read_excelread_excel方法定义： pandas.read_excel(io, sheet_name=0, header=0, skiprows=None, skip_footer=0, index_col=None, names=None, usecols=None, par 阅读全文

摘要： python中导入自定义模块的方法： 1、py执行文件和模块同属于同个目录（父级目录） 直接使用 import <模块名>命令导入模块，然后使用模块.变量|函数语句即可使用模块中的函数。 2、先使用sys模块导入自定义模块的路径，然后使用import导入模块 导入步骤： 1、使用import sys 阅读全文

摘要： 进入 zkCli.sh所在目录 find / -name zkCli.sh 位置：/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/zookeeper/bin/zkCli.sh cd /opt/cloudera/parcels/CDH 阅读全文

摘要： #!/bin/bash # 1) hadoop平台夜间调度 /bin/bash /home/kettle/shell/BST_HADOOP/JOB_BUS_LWSP_OUTPUT.sh #wait 表示等待上面的JOB_BUS_LWSP_OUTPUT.sh 调度完成 wait # 2) 各系统每日展 阅读全文