摘要: SELECT CONCAT('alter table ',dt.TABLE_SCHEMA,'.',dc.table,' modify ',dc.columns, ' ', dt.`COLUMN_TYPE`, IF(dt.CHARACTER_SET_NAME IS NULL," ",CONCAT(" 阅读全文
posted @ 2022-10-27 14:47 落地的果实 阅读(152) 评论(0) 推荐(0) 编辑
摘要: create or replace function fnc_table_to_mysql ( i_owner in string, i_table_name in string, i_number_default_type in string := 'decimal', i_auto_incret 阅读全文
posted @ 2022-09-22 14:31 落地的果实 阅读(1180) 评论(0) 推荐(0) 编辑
摘要: 转载 后续买了新cpu自用参考https://blog.csdn.net/submarineas/article/details/126634227 阅读全文
posted @ 2022-09-22 09:40 落地的果实 阅读(32) 评论(0) 推荐(0) 编辑
摘要: 1 . spark广播加入错误,即使spark.sql.autoBroadcastJoinThreshold=-1 任务设置spark.sql.autoBroadcastJoinThreshold=-1 但是在实际执行中设置未生效 即使我把它指定为-1,它也要尝试在做一个广播加入 设置spark.s 阅读全文
posted @ 2022-09-03 18:51 落地的果实 阅读(496) 评论(0) 推荐(0) 编辑
摘要: 二级索引 关键字 说明 index name 索引别名 Index expression 索引源字段 Type minmax, set, bloom filter,map GRANULARITY 索引粒度 ,如ClickHouse 默认稀疏索引默认是8192 ,我理解 8192*GRANULARIT 阅读全文
posted @ 2022-09-02 16:45 落地的果实 阅读(2712) 评论(0) 推荐(0) 编辑
摘要: 本地表创建样例: CREATE TABLE database.table_branch ON CLUSTER 'CLUSTER ' ( timevalue DateTime COMMENT '时间', vprovince Nullable(String) COMMENT '省份', vcity Nu 阅读全文
posted @ 2022-09-02 16:41 落地的果实 阅读(643) 评论(0) 推荐(0) 编辑
摘要: ClickHouse自带用于记录系统信息的系统库system,通过processes表,我们可以查看当前连接的进程信息,也就是正在运行的sql的信息。 SELECT query_id, read_rows, total_rows_approx, memory_usage, initial_user, 阅读全文
posted @ 2022-09-02 14:44 落地的果实 阅读(3118) 评论(0) 推荐(0) 编辑
摘要: Transformation 主要做的是就是将一个已有的RDD生成另外一个RDD。Transformation具有lazy特性(延迟加载)。Transformation算子的代码不会真正被执行。只有当我们的程序里面遇到一个action算子的时候,代码才会真正的被执行。这种设计让Spark更加有效率地 阅读全文
posted @ 2022-02-18 13:58 落地的果实 阅读(125) 评论(0) 推荐(0) 编辑
摘要: HIVE count(distinct ) over() 无法使用解决办法 在使用hive时发现count(distinct ) over() 报错 hive> with da as ( > select 1 a, 'a' b union all > select 1 a, 'a' b union 阅读全文
posted @ 2020-06-11 14:48 落地的果实 阅读(7807) 评论(0) 推荐(0) 编辑
摘要: 怎么将shell脚本传进的参数传递到它调用的脚本中 在工作的时候遇到的一个需求而联想的到一个想法。 做需求的时候没有想到怎么做,最后在自己的看大佬写的脚本的时候,得到的解决方法。 贴上大佬的代码 #!/bin/bash #$1开始时间 如:2019-08-12 00:00:00 #$2结束时间 如: 阅读全文
posted @ 2020-04-17 15:21 落地的果实 阅读(1017) 评论(0) 推荐(0) 编辑