文章分类 - 工作经验总结
工作中遇到的问题和学习笔记
摘要：mysql regexp_like() 的用法 在MySQL中，**REGEXP_LIKE()**函数用于确定字符串是否匹配正则表达式。 如果字符串与提供的正则表达式匹配，函数返回1;如果不匹配，返回0。 语法: REGEXP_LIKE(expr, pat[, match_type]) 其中expr
阅读全文
摘要：impala 的行列转换（group_concat()） impala并不支持hive中的行列转换函数explode&collect impala 的行列转换 不支持 collect，和hive的行列转换不同，可以用 group_concat group_concat(string s [, str
阅读全文
摘要：-- 函数在fin_dw下 use fin_dw; --将过去第7天的数据插入到历史分区 insert into table fin_dw_part.app_api_sec_bond_party_di partition (dt,data_status) select serial_no, bond
阅读全文
摘要：使用 impala 删除 kudu 表中数据 这个问题发生在我对债券发行总表进行抽数的时候，在抽数之前需要将该表中数据清空 为什么只能使用delete from，不能用truncate table？ Kudu之SQL操作(KUDU&Impala基本操作) MySQL根据主键去重 为什么在impala
阅读全文
摘要：1、通过impala shell修改表名，基本语法如下： ALTER TABLE o_tb_name RENAME TO n_tb_name; 修改student表名为emp： ALTER TABLE student RENAME TO emp; 执行语句，验证结果： 2、通过impala shel
阅读全文
摘要：Kudu之SQL操作(KUDU&Impala基本操作) 参考文章：KUDU&Impala基本操作 使用impala对kudu进行DML操作 kudu insert data api kudu官网impala操作kudu表 说明 通过Java client等其他方式在kudu中创建了某个表,要想对该表
阅读全文
摘要：kudu表的Tips（小知识点） 1、kudu表会根据主键去重 2、kudu表不支持insert overwrite只能用insert into 3、kudu表可以upsert into 复制表（备份表中数据）时指定存储格式 --例如：可以复制分区表 -- 将app_api_ent_bond_cas
阅读全文
摘要：azkaban查看执行工作流/job节点的另一种方式&修改节点执行的命令实现跳过job节点执行
阅读全文
摘要：hive表新增字段后，新字段无法写入的问题 -- cascade 转自：https://blog.csdn.net/lele5000/article/details/89856355 给hive表新增了三个字段，重新insert overwrite了历史有数据的分区，但是select 新增字段仍然没
阅读全文
摘要：hive表新增字段/修改字段+修改字段时字段顺序的问题 分区字段永远在所有字段的最后面 hive表操作 修改表字段的数据类型或者修改表字段名字 #如果表是外部表，需要先修改为内部表 alter table 数据库名.表名 set tblproperties('EXTERNAL' = 'FALSE')
阅读全文
摘要：Shell编程中会经常遇到字符串处理（如截取） 今天在写shell脚本的时候看到前辈的代码中有 ..... get_col(){ local s=$1 local col_num=$2 local col_str=$3 let "col_num--" local ss=${s#*${col_str}
阅读全文
摘要：实时接口的shell脚本、数据推到Elasticsearch的python脚本 实时接口sh #!/bin/bash db_cr_packdb_url="`get_database_info mysql.packdb.url`" db_cr_packdb_ip="`get_database_info
阅读全文
摘要：sqoop export\import 参数 export 参数说明： --validate <class-name>启用数据副本验证功能，仅支持单表拷贝，可以指定验证使用的实现类 --validation-threshold <class-name>指定验证门限所使用的类 --direct 使用直
阅读全文
摘要：创建kudu表_Impala+Kudu基础操作手册 SQL操作 通过impala对kudu进行sql操作 数据库操作 --描述表 DESCRIBE tabel_name; --查看分区情况 SHOW PARTITIONS table_name; --查看当前使用数据库 SELECT current_
阅读全文
摘要：kudu 建表（使用impala操作kudu之创建kudu表） 依次启动HDFS、mysql、hive、kudu、impala 登录impala的shell控制端： Impala-shell 1：使用该impala-shell命令启动Impala Shell 。默认情况下，impala-shell
阅读全文
摘要：hive sql 的执行顺序 关于 sql 语句的执行顺序网上有很多资料，但是大多都没进行验证，并且很多都有点小错误，尤其是对于 select 和 group by 执行的先后顺序，有说 select 先执行，有说 group by 先执行，到底它俩谁先执行呢？ 今天我们通过 explain 来验证
阅读全文
摘要：sed -i 修改脚本内容 今天工作中遇到需要将上线的表进行初始化刷一遍全量数据的问题 但是sql脚本已经上线了，不能手动修改了（没权限）^.^ 所以今天学了一个新命令可以让有权限的同事帮我执行一下，然后等我跑批刷数据之后再恢复过来 sed -i '80s/^/--/' /home/etl/app/
阅读全文
摘要：发现一款非常好用的截屏软件：Snipaste（工作中用起来真的很舒服）
阅读全文
摘要：insert into 表名 select语句 -- 注意事项 #将select语句的查询结果追加插入到表中 insert into 表名 select语句; #将into换成overwrite可以将select语句的查询结果覆盖到表中 insert overwrite table 表名 selec
阅读全文
浙公网安备 33010602011771号