文章分类 - 工作经验总结
工作中遇到的问题和学习笔记
摘要：日期偏移INTERVAL * DAY 今天做帆软报表时遇到了一个问题： 以下是操作MySQL的语句 select task_name, db_ins_date, record_cnt from cr_hub.meta_task_run_log_dd where task_name='app_api_
阅读全文
摘要：MySQL间隔值简介 MySQL间隔值主要用于日期和时间计算。要创建间隔值，请使用以下表达式： INTERVAL expr unit 其次是INTERVAL关键字是确定间隔值的expr，以及指定间隔单位的单位。 例如，要创建1天间隔，请使用以下表达式： INTERVAL 1 DAY 请注意，INTE
阅读全文
摘要：来源数据为各种“空”，比如空字符串，空格，制表符，NULL。则返回 NULL。 否则，返回原值。 可以使用 NULLIF 配合 trim 函数，将各种空处理成标准的 NULL -- 当 A 与 B 相等，则返回 NULL，否则返回 A SELECT NULLIF(A,B) -- 实现 SELECT
阅读全文
摘要：5W2H分析法 5W2H 法又称为七何分析法，是一个非常简单又实用的工具，它提供解决问题的基本思路，并有助于弥补考虑问题的疏漏。 直白的理解，5W2H 法就是一种发现问题、解决问题的方法。 它是5 个以W 开头的英语单词和2 个以H 开头的英语词组逐一提问，并逐一思考回答，从中发现解决问题的线索，发
阅读全文
摘要：内部优化 -- m_lira_courtbulletin_solr_01.sql脚本增量导入、在where字句的过滤条件中使用select子查询过滤数据、APP层dd表逻辑 背景：m_lira_courtbulletin_solr_01.sql目前全量插入时间较长（3小时左右），影响整体跑批性能 该
阅读全文
摘要：Scala Array&ArrayBuffer 1.定长数组-Array //方式一 //长度为5的整数数组，所有元素初始化为0 val ary1=new Array[Int](5) //长度为5的字符串数组，所有元素初始化为null val ary2=new Array[String](5) //
阅读全文
摘要：Scala for循环 Scala 循环 for 循环允许您编写一个执行指定次数的循环控制结构。 语法 Scala 语言中 for 循环的语法： for( var x <- Range ){ statement(s); } 以上语法中，Range 可以是一个数字区间表示 i to j ，或者 i u
阅读全文
摘要：Scala 的 for yield 的用法 具体参考Scala for循环 今天我的朋友问了我一个问题，这个问题我也不太清楚，就是for循环中使用yield关键字 概念 for循环中的yield会将for循环中的值保存下来，保存到一个集合中，在循环结束的时候会将集合全部输出，如果被循环的是map，则
阅读全文
摘要：博客园主题样式设置 一个好看的主题，可以让我看博客的时候心情愉悦，^_^ 今天发现了一个很好看的古风主题，顺便记录一下我博客园的一些设置（防止之后找错了搞不回来） 设置完之后： 效果很棒！
阅读全文
摘要：博客园大佬 -- 扎心了，老铁 今天发现了一个写的很不错，和我风格很像的博客园，已经关注了 没事的时候可以多借鉴借鉴
阅读全文
摘要：开发经验总结 【1】去重 Description 使用row_number() over(partition by ... order by ...)等分析函数去重时，partition by ... 中的分组字段，如果字段类型为字符串，要考虑null与空字符串''的关系，分组时是否要将这两者视为等
阅读全文
摘要：一、vs code 的常用快捷键 1、注释： a) 单行注释：[ctrl+k,ctrl+c] 或 ctrl+/ b) 取消单行注释：[ctrl+k,ctrl+u] (按下ctrl不放，再按k + u) c) 多行注释：[alt+shift+A] d) 多行注释：/** 2、移动行：alt+up/do
阅读全文
摘要：VSCode设置大小写转换的快捷键 VSCode在默认情况下没有大小写转换的快捷键, 需要自定义快捷键。 自定义大小写转换的快捷键步骤如下: 1.点击【文件】-【首选项】-【键盘快捷方式】菜单。 2.输入 "转换为大写", 会出现搜索结果【转换为大写】,鼠标悬停在该结果上, 点击前面的"加号" 或
阅读全文
摘要：菜鸟教程 菜鸟教程是一个非常好的线上学习平台，里面技术栈非常广，大多数主流技术在里面都可以学习到，而且附带很多在线测试工具和自检测试，very nice 菜鸟教程官网 w3cschool w3cschool也是一个很好的学习网站，其中的一些教程写的很好而且很详细，而且都是Markdown的格式，抄起
阅读全文
摘要：如何在表关联的时候 on 条件中过滤数据 例如：impala 环境 select a.*,c.query_org_id,c.intf_no from (select * from fin_dw_part.dwd_rsk_mkt_int_rate_dd where dt=get_max_dt('fin
阅读全文
摘要：Hive HQL Where语句 1．使用WHERE子句，将不满足条件的行过滤掉 2．WHERE子句紧随FROM子句 3．案例实操 查询出薪水大于1000的所有员工 hive (default)> select * from emp where sal >1000; 注意：where子句中不能使用字
阅读全文
摘要：Hive的几种like详解 like的使用详解 语法规则: **格式是 A like B,其中A是字符串，B是表达式，**表示能否用B去完全匹配A的内容，换句话说能否用B这个表达式去表示A的全部内容，注意这个和rlike是有区别的。返回的结果是True/False. B只能使用简单匹配符号 _和%，
阅读全文
摘要：取数 -- 关联优化：大表关联小表 今天做了一个从镜像拿取股东数据的任务，给了我105个公司的名称（excel文件），让我从fin_dw.dwd_ent_ic_ent_invest_dd（企业对外投资）表中拿取数据,该表数据量非常大，如下图所示： 现在有两种方法： 因为给我的公司名称才105条，所以
阅读全文
摘要：union 合并数据源小实践 1、被合并的数据源的字段要相同，取并集 2、如下所示：
阅读全文
摘要：impala字符串函数最全版 https://blog.csdn.net/weixin_43140586/article/details/115007077 本文基于impala3.2版本，所有的内置字符串函数； 一、加密解密函数 | 序号 | 语法类型/方法名称 | 输出类型 | 使用说明 | |
阅读全文
浙公网安备 33010602011771号