文章分类 -  impala

Apache impala
摘要:impala常用数值函数大全(超详细) 数值函数 Impala中数学函数用来执行数值计算,比如基本加法,减法,乘法和除法及更复杂的运算 函数列表 abs(numeric_type a) ==> 返回参数的绝对值 --得到-12的绝对值 [master:21000] > select abs(-12) 阅读全文
posted @ 2022-10-23 16:23 赤兔胭脂小吕布 阅读(1071) 评论(0) 推荐(0)
摘要:impala时间函数最全版(强烈建议收藏) 本文基于impala3.2版本,所有的内置时间函数; 一、补充概念说明 1、date类型和timestamp类型区别 对于一个完整的时间格式来说:2021-02-02 09:59:42.46,前半部分属于date,后半部分属于time;date类型的字段只 阅读全文
posted @ 2022-10-23 16:00 赤兔胭脂小吕布 阅读(1286) 评论(0) 推荐(0)
摘要:impala开窗函数/分析函数 本文基于impala3.2版本,所有的内置开窗分析函数; 一、补充概念说明 1、什么是开窗函数? 开窗函数是为行定义一个窗口(一个窗口里面是需要操作的行的集合),然后对窗口的行的组合值进行操作,不需要使用group by进行分区,能够在一行里面返回基础行的列和聚合列( 阅读全文
posted @ 2022-10-23 15:38 赤兔胭脂小吕布 阅读(1046) 评论(0) 推荐(0)
摘要:kudu表建表必须要主键 向同一张表的相同字段执行多条 insert into 语句可以合并 建立测试表: drop table if exists fin_dw_dev.test_cflv_20220921; create table if not exists fin_dw_dev.test_c 阅读全文
posted @ 2022-09-21 19:55 赤兔胭脂小吕布 阅读(307) 评论(0) 推荐(0)
摘要:concat() 函数中的字符串套 nvl() 函数的重要性 阅读全文
posted @ 2022-09-15 20:31 赤兔胭脂小吕布 阅读(54) 评论(0) 推荐(0)
摘要:在impala中建立hbase的外表 Impala是Cloudera 开发的所以在CDH大数据环境下 安装简单,CDH自己集成了Impala Impala可以通过Hive外部表方式和HBase进行整合,步骤如下: 步骤1:创建hbase 表,向表中添加数据 create 'test_info', ' 阅读全文
posted @ 2022-09-08 17:59 赤兔胭脂小吕布 阅读(224) 评论(0) 推荐(0)
摘要:impala 概述 什么是Impala? Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎。 它是一个用C ++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比,它提供了高性能和低延迟。 换句话说,Impala是性能最高的SQL引擎(提供 阅读全文
posted @ 2022-09-06 16:10 赤兔胭脂小吕布 阅读(1132) 评论(0) 推荐(0)
摘要:如何优雅的通过SQL表示月底 假如今天的时间为 那么可以通过interval关键字和date_sub()函数来表示月底 例如上个月月底: 本月月底: 阅读全文
posted @ 2022-08-23 15:49 赤兔胭脂小吕布 阅读(281) 评论(0) 推荐(0)
摘要:来源数据为各种“空”,比如空字符串,空格,制表符,NULL。则返回 NULL。 否则,返回原值。 可以使用 NULLIF 配合 trim 函数,将各种空处理成标准的 NULL -- 当 A 与 B 相等,则返回 NULL,否则返回 A SELECT NULLIF(A,B) -- 实现 SELECT 阅读全文
posted @ 2022-08-12 10:16 赤兔胭脂小吕布 阅读(165) 评论(0) 推荐(0)
摘要:内部优化 -- m_lira_courtbulletin_solr_01.sql脚本增量导入、在where字句的过滤条件中使用select子查询过滤数据、APP层dd表逻辑 背景:m_lira_courtbulletin_solr_01.sql目前全量插入时间较长(3小时左右),影响整体跑批性能 该 阅读全文
posted @ 2022-08-10 20:45 赤兔胭脂小吕布 阅读(45) 评论(0) 推荐(0)
摘要:如何在表关联的时候 on 条件中过滤数据 例如:impala 环境 select a.*,c.query_org_id,c.intf_no from (select * from fin_dw_part.dwd_rsk_mkt_int_rate_dd where dt=get_max_dt('fin 阅读全文
posted @ 2022-07-26 09:52 赤兔胭脂小吕布 阅读(92) 评论(0) 推荐(0)
摘要:impala字符串函数最全版 https://blog.csdn.net/weixin_43140586/article/details/115007077 本文基于impala3.2版本,所有的内置字符串函数; 一、加密解密函数 | 序号 | 语法类型/方法名称 | 输出类型 | 使用说明 | | 阅读全文
posted @ 2022-07-21 16:02 赤兔胭脂小吕布 阅读(2481) 评论(0) 推荐(0)
摘要:impala 的行列转换(group_concat()) impala并不支持hive中的行列转换函数explode&collect impala 的行列转换 不支持 collect,和hive的行列转换不同,可以用 group_concat group_concat(string s [, str 阅读全文
posted @ 2022-07-20 20:51 赤兔胭脂小吕布 阅读(5011) 评论(0) 推荐(0)
摘要:使用 impala 删除 kudu 表中数据 这个问题发生在我对债券发行总表进行抽数的时候,在抽数之前需要将该表中数据清空 为什么只能使用delete from,不能用truncate table? Kudu之SQL操作(KUDU&Impala基本操作) MySQL根据主键去重 为什么在impala 阅读全文
posted @ 2022-07-20 19:11 赤兔胭脂小吕布 阅读(2089) 评论(1) 推荐(0)
摘要:1、通过impala shell修改表名,基本语法如下: ALTER TABLE o_tb_name RENAME TO n_tb_name; 修改student表名为emp: ALTER TABLE student RENAME TO emp; 执行语句,验证结果: 2、通过impala shel 阅读全文
posted @ 2022-07-20 18:43 赤兔胭脂小吕布 阅读(1433) 评论(0) 推荐(0)
摘要:Kudu之SQL操作(KUDU&Impala基本操作) 参考文章:KUDU&Impala基本操作 使用impala对kudu进行DML操作 kudu insert data api kudu官网impala操作kudu表 说明 通过Java client等其他方式在kudu中创建了某个表,要想对该表 阅读全文
posted @ 2022-07-20 18:36 赤兔胭脂小吕布 阅读(1605) 评论(0) 推荐(0)
摘要:创建kudu表_Impala+Kudu基础操作手册 SQL操作 通过impala对kudu进行sql操作 数据库操作 --描述表 DESCRIBE tabel_name; --查看分区情况 SHOW PARTITIONS table_name; --查看当前使用数据库 SELECT current_ 阅读全文
posted @ 2022-07-07 19:07 赤兔胭脂小吕布 阅读(2201) 评论(0) 推荐(0)
摘要:kudu 建表(使用impala操作kudu之创建kudu表) 依次启动HDFS、mysql、hive、kudu、impala 登录impala的shell控制端: Impala-shell 1:使用该impala-shell命令启动Impala Shell 。默认情况下,impala-shell 阅读全文
posted @ 2022-07-07 13:05 赤兔胭脂小吕布 阅读(2656) 评论(0) 推荐(0)
摘要:python https://docs.python.org/3/ Apache Kudu https://kudu.apache.org/docs/ Apache impala https://impala.apache.org/impala-docs.html 阅读全文
posted @ 2022-06-07 15:46 赤兔胭脂小吕布 阅读(119) 评论(0) 推荐(0)