2021年5月28日
Flink可靠性的基石-checkpoint机制详细解析
摘要： Flink可靠性的基石-checkpoint机制详细解析 Checkpoint介绍 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致性。Flink的ch 阅读全文
posted @ 2021-05-28 16:06 温家三哥 阅读(704) 评论(0) 推荐(0)
Hive底层原理：explain执行计划详解
摘要： 理论 HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive 调优，排查数据倾斜等很有帮助 使用语法如下： EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|AUTHORIZATION|LOCKS|VECTORIZATION|AN 阅读全文
posted @ 2021-05-28 15:51 温家三哥 阅读(888) 评论(0) 推荐(0)
hive高阶1--sql和hive语句执行顺序、explain查看执行计划、group by生成MR
摘要： hive语句执行顺序 msyql语句执行顺序 代码写的顺序： select ... from... where.... group by... having... order by.. 或者 from ... select ... 代码的执行顺序： from... where...group by. 阅读全文
posted @ 2021-05-28 15:30 温家三哥 阅读(685) 评论(0) 推荐(0)
hive执行计划解析
摘要： hive执行计划解析 Hive wiki - LanguageManual Explain 1.hive执行流程的重要性 1）当sql任务非常慢时，就需要分析它的执行流程2）常见的面试中，问对hive的理解？回答只是写sql，这个是很片面的。要从表面的sql，在脑海中映射出MR流程,在哪儿进行map 阅读全文
posted @ 2021-05-28 14:44 温家三哥 阅读(1778) 评论(0) 推荐(0)
2021年5月16日
mysql向hsql迁移的一些经验
摘要： mysql向hsql迁移的一些经验 1. HSQL不支持BLOB，所以使用LONGVARBINARY来代替BLOB， 用VARBINARY来代替mediumblob; 2. HSQL不支持TEXT / MEDIUMTEXT， 使用LONGVARCHAR来代替; 3. TINYINT, INT, BI 阅读全文
posted @ 2021-05-16 21:31 温家三哥 阅读(142) 评论(0) 推荐(0)
MySQL 时间函数
摘要： 获取当前时间 返回当前日期 ：select curdate() ;2018-05-21 返回当前时间 ：select curtime() ;16:24:03 返回当前日期和时间：select now() ;2018-05-21 16:24:03 返回当前日期和时间：select now() + 0 阅读全文
posted @ 2021-05-16 21:29 温家三哥 阅读(1126) 评论(0) 推荐(0)
MySQL：日期函数、时间函数总结（MySQL 5.X）
摘要： 一、MySQL 获得当前日期时间 函数1.1 获得当前日期+时间（date + time）函数：now()mysql> select now();+ +| now() |+ +| 2008-08-08 22:20:46 |+ +除了 now() 函数能获得当前的日期时间外，MySQL 中还有下面的函 阅读全文
posted @ 2021-05-16 21:15 温家三哥 阅读(2111) 评论(0) 推荐(0)
hive sql的常用日期处理函数总结
摘要： 1）date_format函数（根据格式整理日期） 作用：把一个字符串日期格式化为指定的格式。 select date_format('2017-01-01','yyyy-MM-dd HH:mm:ss'); --日期字符串必须满足yyyy-MM-dd格式 结果：2017-01-01 00:00:00 阅读全文
posted @ 2021-05-16 21:12 温家三哥 阅读(1632) 评论(0) 推荐(0)
2021年5月15日
超详细的六款主流ETL工具介绍及功能对比
摘要： 概述 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。最近用kettle做数据处理比较多，所以也就介绍下这方面内容，这里先对比下几款主流的ETL 阅读全文
posted @ 2021-05-15 21:29 温家三哥 阅读(6327) 评论(0) 推荐(0)
什么是星型模型和雪花型模型,以及区别
摘要： 一、概述 在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型还是雪花型模型进行组织。 当所有维表都直接连接到“ 事实表”上时，整个图解就像星星一样，故将该模型称为星型模型，如图 1 。 星型架构 阅读全文
posted @ 2021-05-15 21:02 温家三哥 阅读(9371) 评论(0) 推荐(0)