摘要: 一、窗口函数 官方文档地址:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+WindowingAndAnalytics oracle,sqlserver都提供了窗口函数,但是在mysql5.5和5.6都没有提供窗口函数! 阅读全文
posted @ 2020-12-02 22:03 [行者] 阅读(138) 评论(0) 推荐(0) 编辑
摘要: 离线架构: 实时架构: 阅读全文
posted @ 2020-06-22 22:30 [行者] 阅读(300) 评论(0) 推荐(0) 编辑
摘要: 一、数据plant_carbon.plant_id | plant_carbon.plant_name | plant_carbon.low_carbon user_low_carbon.user_id | user_low_carbon.data_dt | user_low_carbon.low_ 阅读全文
posted @ 2020-12-03 11:12 [行者] 阅读(124) 评论(0) 推荐(0) 编辑
摘要: 一、排名函数 注意:排名函数可以跟Over(),但是不能定义window_clause. 在计算名次前,需要先排序!RANK: 允许并列,一旦有并列跳号! ROW_NUMBER: 行号! 连续的,每个号之间差1!DENSE_RANK: 允许并列,一旦有并列不跳号!CUME_DIST: 从排序后的第一 阅读全文
posted @ 2020-12-02 22:46 [行者] 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 语法 功能描述 Yy 复制光标当前一行 y数字y 复制一段(从第几行到第几行) P 箭头移动到目的行粘贴 U 撤销上一步 Dd 删除光标当前行 d数字d 删除光标(含)后多少行 X 删除一个字母,相当于del,向后删 X 删除一个字母,相当于Backspace,向前删 Yw 复制一个词 Dw 删除一 阅读全文
posted @ 2020-11-03 23:01 [行者] 阅读(55) 评论(0) 推荐(0) 编辑
摘要: // s插值val s = s"a = $a, b = $b"val s = s"a = ${a*2}, b = ${b*3}" // 顶格 及 插值val s1: String =s""" |select |* |from |where |date='$date' |yes |good """.s 阅读全文
posted @ 2020-11-03 22:35 [行者] 阅读(94) 评论(0) 推荐(0) 编辑
摘要: 情况1:(基本都是这样的问题,) 1.需要修改canal.properties配置 vim conf/canal.properties canal.instance.parser.parallelThreadSize = 16 默认是被注释掉的,需要打开注释,然后重启canal cd bin ./r 阅读全文
posted @ 2020-07-02 21:57 [行者] 阅读(1531) 评论(0) 推荐(0) 编辑
摘要: (实战项目应用) 1. 下载Miniconda 两个安装方式: 方式1:wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py37_4.8.2-Linux-x86_64.sh 方式2:选择下载安装包 “Mi 阅读全文
posted @ 2020-06-18 10:39 [行者] 阅读(1275) 评论(0) 推荐(0) 编辑
摘要: 1. request: 2. scala: sc.textFile("input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect 阅读全文
posted @ 2020-05-01 12:02 [行者] 阅读(213) 评论(0) 推荐(0) 编辑
摘要: [2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter: java.lang.UnsupportedOperationException: seccomp unavailable: re 阅读全文
posted @ 2020-03-17 15:42 [行者] 阅读(162) 评论(0) 推荐(0) 编辑