文章分类 - Hive
摘要：kudu表建表必须要主键 向同一张表的相同字段执行多条 insert into 语句可以合并 建立测试表： drop table if exists fin_dw_dev.test_cflv_20220921; create table if not exists fin_dw_dev.test_c
阅读全文
摘要：concat() 函数中的字符串套 nvl() 函数的重要性
阅读全文
摘要：在impala中建立hbase的外表 Impala是Cloudera 开发的所以在CDH大数据环境下 安装简单，CDH自己集成了Impala Impala可以通过Hive外部表方式和HBase进行整合，步骤如下： 步骤1：创建hbase 表，向表中添加数据 create 'test_info', '
阅读全文
摘要：Hive 安装 所有Hadoop的子项目，如Hive, Pig,和HBase，都需要Linux的操作系统。因此，需要安装Linux OS。以下是为Hive的安装执行的简单步骤： 第1步：验证JAVA安装 在Hive安装之前，Java必须在系统上已经安装。使用下面的命令来验证是否已经安装Java： $
阅读全文
摘要：Hive 常用函数大全 在 hive 中可通过以下命令查看函数信息： --显示所有的可用函数，包括运算符、内置函数、自定义函数 show functions; --显示指定函数的描述信息 desc function trim; --显示指定函数的详细信息 desc function extended
阅读全文
摘要：如何优雅的通过SQL表示月底 假如今天的时间为 那么可以通过interval关键字和date_sub()函数来表示月底 例如上个月月底： 本月月底：
阅读全文
摘要：来源数据为各种“空”，比如空字符串，空格，制表符，NULL。则返回 NULL。 否则，返回原值。 可以使用 NULLIF 配合 trim 函数，将各种空处理成标准的 NULL -- 当 A 与 B 相等，则返回 NULL，否则返回 A SELECT NULLIF(A,B) -- 实现 SELECT
阅读全文
摘要：内部优化 -- m_lira_courtbulletin_solr_01.sql脚本增量导入、在where字句的过滤条件中使用select子查询过滤数据、APP层dd表逻辑 背景：m_lira_courtbulletin_solr_01.sql目前全量插入时间较长（3小时左右），影响整体跑批性能 该
阅读全文
摘要：如何在表关联的时候 on 条件中过滤数据 例如：impala 环境 select a.*,c.query_org_id,c.intf_no from (select * from fin_dw_part.dwd_rsk_mkt_int_rate_dd where dt=get_max_dt('fin
阅读全文
摘要：Hive HQL Where语句 1．使用WHERE子句，将不满足条件的行过滤掉 2．WHERE子句紧随FROM子句 3．案例实操 查询出薪水大于1000的所有员工 hive (default)> select * from emp where sal >1000; 注意：where子句中不能使用字
阅读全文
摘要：Hive的几种like详解 like的使用详解 语法规则: **格式是 A like B,其中A是字符串，B是表达式，**表示能否用B去完全匹配A的内容，换句话说能否用B这个表达式去表示A的全部内容，注意这个和rlike是有区别的。返回的结果是True/False. B只能使用简单匹配符号 _和%，
阅读全文
摘要：union 合并数据源小实践 1、被合并的数据源的字段要相同，取并集 2、如下所示：
阅读全文
摘要：使用 impala 删除 kudu 表中数据 这个问题发生在我对债券发行总表进行抽数的时候，在抽数之前需要将该表中数据清空 为什么只能使用delete from，不能用truncate table？ Kudu之SQL操作(KUDU&Impala基本操作) MySQL根据主键去重 为什么在impala
阅读全文
摘要：kudu表的Tips（小知识点） 1、kudu表会根据主键去重 2、kudu表不支持insert overwrite只能用insert into 3、kudu表可以upsert into 复制表（备份表中数据）时指定存储格式 --例如：可以复制分区表 -- 将app_api_ent_bond_cas
阅读全文
摘要：hive表新增字段后，新字段无法写入的问题 -- cascade 转自：https://blog.csdn.net/lele5000/article/details/89856355 给hive表新增了三个字段，重新insert overwrite了历史有数据的分区，但是select 新增字段仍然没
阅读全文
摘要：hive表新增字段/修改字段+修改字段时字段顺序的问题 分区字段永远在所有字段的最后面 hive表操作 修改表字段的数据类型或者修改表字段名字 #如果表是外部表，需要先修改为内部表 alter table 数据库名.表名 set tblproperties('EXTERNAL' = 'FALSE')
阅读全文
摘要：kudu 建表（使用impala操作kudu之创建kudu表） 依次启动HDFS、mysql、hive、kudu、impala 登录impala的shell控制端： Impala-shell 1：使用该impala-shell命令启动Impala Shell 。默认情况下，impala-shell
阅读全文
摘要：hive sql 的执行顺序 关于 sql 语句的执行顺序网上有很多资料，但是大多都没进行验证，并且很多都有点小错误，尤其是对于 select 和 group by 执行的先后顺序，有说 select 先执行，有说 group by 先执行，到底它俩谁先执行呢？ 今天我们通过 explain 来验证
阅读全文
摘要：insert into 表名 select语句 -- 注意事项 #将select语句的查询结果追加插入到表中 insert into 表名 select语句; #将into换成overwrite可以将select语句的查询结果覆盖到表中 insert overwrite table 表名 selec
阅读全文
摘要：shell 脚本 中的 函数 #!/bin/bash # 指定了shell脚本解释器的路径，而且这个指定路径只能放在文件的第一行。第一行写错或者不写时，系统会有一个默认的解释器进行解释。 db_cr_hub1_ip="`get_database_info mysql.cr_hub1.ip`" db_
阅读全文
浙公网安备 33010602011771号