文章分类 - SQL
摘要：kudu表建表必须要主键 向同一张表的相同字段执行多条 insert into 语句可以合并 建立测试表： drop table if exists fin_dw_dev.test_cflv_20220921; create table if not exists fin_dw_dev.test_c
阅读全文
摘要：concat() 函数中的字符串套 nvl() 函数的重要性
阅读全文
摘要：如何优雅的通过SQL表示月底 假如今天的时间为 那么可以通过interval关键字和date_sub()函数来表示月底 例如上个月月底： 本月月底：
阅读全文
摘要：来源数据为各种“空”，比如空字符串，空格，制表符，NULL。则返回 NULL。 否则，返回原值。 可以使用 NULLIF 配合 trim 函数，将各种空处理成标准的 NULL -- 当 A 与 B 相等，则返回 NULL，否则返回 A SELECT NULLIF(A,B) -- 实现 SELECT
阅读全文
摘要：内部优化 -- m_lira_courtbulletin_solr_01.sql脚本增量导入、在where字句的过滤条件中使用select子查询过滤数据、APP层dd表逻辑 背景：m_lira_courtbulletin_solr_01.sql目前全量插入时间较长（3小时左右），影响整体跑批性能 该
阅读全文
摘要：如何在表关联的时候 on 条件中过滤数据 例如：impala 环境 select a.*,c.query_org_id,c.intf_no from (select * from fin_dw_part.dwd_rsk_mkt_int_rate_dd where dt=get_max_dt('fin
阅读全文
摘要：union 合并数据源小实践 1、被合并的数据源的字段要相同，取并集 2、如下所示：
阅读全文
摘要：Kudu之SQL操作(KUDU&Impala基本操作) 参考文章：KUDU&Impala基本操作 使用impala对kudu进行DML操作 kudu insert data api kudu官网impala操作kudu表 说明 通过Java client等其他方式在kudu中创建了某个表,要想对该表
阅读全文
摘要：kudu表的Tips（小知识点） 1、kudu表会根据主键去重 2、kudu表不支持insert overwrite只能用insert into 3、kudu表可以upsert into 复制表（备份表中数据）时指定存储格式 --例如：可以复制分区表 -- 将app_api_ent_bond_cas
阅读全文
摘要：hive表新增字段后，新字段无法写入的问题 -- cascade 转自：https://blog.csdn.net/lele5000/article/details/89856355 给hive表新增了三个字段，重新insert overwrite了历史有数据的分区，但是select 新增字段仍然没
阅读全文
摘要：hive表新增字段/修改字段+修改字段时字段顺序的问题 分区字段永远在所有字段的最后面 hive表操作 修改表字段的数据类型或者修改表字段名字 #如果表是外部表，需要先修改为内部表 alter table 数据库名.表名 set tblproperties('EXTERNAL' = 'FALSE')
阅读全文
摘要：kudu 建表（使用impala操作kudu之创建kudu表） 依次启动HDFS、mysql、hive、kudu、impala 登录impala的shell控制端： Impala-shell 1：使用该impala-shell命令启动Impala Shell 。默认情况下，impala-shell
阅读全文
摘要：hive sql 的执行顺序 关于 sql 语句的执行顺序网上有很多资料，但是大多都没进行验证，并且很多都有点小错误，尤其是对于 select 和 group by 执行的先后顺序，有说 select 先执行，有说 group by 先执行，到底它俩谁先执行呢？ 今天我们通过 explain 来验证
阅读全文
摘要：insert into 表名 select语句 -- 注意事项 #将select语句的查询结果追加插入到表中 insert into 表名 select语句; #将into换成overwrite可以将select语句的查询结果覆盖到表中 insert overwrite table 表名 selec
阅读全文
摘要：shell 脚本 中的 函数 #!/bin/bash # 指定了shell脚本解释器的路径，而且这个指定路径只能放在文件的第一行。第一行写错或者不写时，系统会有一个默认的解释器进行解释。 db_cr_hub1_ip="`get_database_info mysql.cr_hub1.ip`" db_
阅读全文
摘要：关于sql中的空值null及处理 一、null的特点 1、null来表示未知和不确定。 null 在计算机和编程世界中表示的是未知,不确定。虽然中文翻译为“空”, 但此空(null)非彼空(empty)。null表示的是一种未知状态，未来状态,比如小明兜里有多少钱我不清楚，但也不能肯定为0，这时在计
阅读全文
摘要：union & union all 的作用 SQL UNION 操作符 UNION 操作符用于合并两个或多个 SELECT 语句的结果集。 请注意，UNION 内部的 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时，每条 SELECT 语句中的列的顺序必须相同。 SQL U
阅读全文
摘要：按多字段分组、从多表中拿字段 在SQL语句中 : 如果因为业务逻辑的要求，需要按不止一个字段进行group by，或者需要从多个表中拿字段 -- 多个分组字段之间用 , 隔开 -- 例如： select formatted_ent_name,id,ROW_NUMBER() over(PARTITIO
阅读全文
摘要：union 按顺序合并结果集 例如: select 'B701' as intf union all select 'B702' as intf union all select 'B703' as intf union all select 'B704' as intf union all sel
阅读全文
浙公网安备 33010602011771号