摘要: 本文是阅读 LinkedIn 公司2020年发表的论文 Magnet: Push-based Shuffle Service for Large-scale Data Processing 一点笔记。 什么是Shuffle 以上图为例,在一个DAG的执行图中,节点与节点之间的数据交换就是Shuffl 阅读全文
posted @ 2022-10-21 13:42 Aitozi 阅读(171) 评论(0) 推荐(0) 编辑
摘要: The compiler in the server VM now provides correct stack backtraces for all "cold" built-in exceptions. For performance purposes, when such an excepti 阅读全文
posted @ 2022-09-20 13:14 Aitozi 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 在一个Clion项目中定义多个main函数编译的时候会报这个错误 显示就是main函数重复了,查阅了下好像可以通过修改CMakeList.txt来修改,将其定义成两个独立的executable即可 add_executable(hello test/hello_world.cpp) add_exec 阅读全文
posted @ 2022-09-17 22:49 Aitozi 阅读(26) 评论(0) 推荐(0) 编辑
摘要: 子图复用优化是为了找到SQL执行计划中重复的节点,将其复用,避免这部分重复计算的逻辑。先回顾SQL执行的主要流程 parser -> validate -> logical optimize -> physical optimize -> translateToExecNode。 而子图复用的逻辑就 阅读全文
posted @ 2022-09-12 22:37 Aitozi 阅读(297) 评论(0) 推荐(0) 编辑
摘要: 出错代码 写java 和 scala 混合代码的时候遇到一个小问题 def extractRefInputFieldsWithType(exprs: JList[RexNode]): Array[(Int, RelDataType)] = { val visitor = new InputRefVi 阅读全文
posted @ 2022-09-12 15:59 Aitozi 阅读(234) 评论(0) 推荐(0) 编辑
摘要: 最近几天开发一个calcite项目的小功能,折腾了一下Gradle的使用,这里简单小记一下。Gradle 是一个基于groovy动态语言的java项目管理工具,灵活性和速度好于java,他的build脚本完全可以以写groovy代码的方式来实现,所以灵活性很高,当然也就比maven的xml配置入门难 阅读全文
posted @ 2022-09-12 14:34 Aitozi 阅读(60) 评论(0) 推荐(0) 编辑
摘要: 这篇文章是看《Vim实用技巧》整理的一些笔记,以及日常使用vim的小技巧的收录,保持更新 VIM 查找 f{char}查找,;向前查找 ,向后查找跳转到指定字符之上. F反向查找 t 查找字符,光标落在前一位,T 反向查找 dt. 删除到 . 字符为止 *查找当前光标下的单词 移动 hjkl 左下上 阅读全文
posted @ 2022-08-27 20:10 Aitozi 阅读(455) 评论(1) 推荐(1) 编辑
摘要: 本地使用idea开发最不好的一个体验就是打开稍大的工程就非常的卡,怎么调参数都没用,现在idea推出了idea remote就赶紧来体验下。 使用方式 除了idea不需要额外下载什么包,但是因为remote gateway还是处于beta阶段,会有不少的bug,例如之前使用的时候遇到的https:/ 阅读全文
posted @ 2022-08-20 22:30 Aitozi 阅读(355) 评论(0) 推荐(0) 编辑
摘要: 性能问题 最近在跑flink社区1.15版本使用json_value函数时,发现其性能很差,通过jstack查看堆栈经常在执行以下堆栈 可以看到这里的逻辑是在等锁,查看jsonpath的LRUCache // // Source code recreated from a .class file b 阅读全文
posted @ 2022-08-07 22:47 Aitozi 阅读(260) 评论(0) 推荐(0) 编辑
摘要: 以前就了解过Java泛型的实现是不完整的,最近在做一些代码重构的时候遇到一些Java泛型类型擦除的问题,简单的来说,Java泛型中所指定的类型在编译时会将其去除,因此List<String> 和 List 在编译成字节码的时候实际上是一样的。因此java泛型只能做到编译期检查的功能,运行期间就不能保 阅读全文
posted @ 2022-05-17 14:26 Aitozi 阅读(396) 评论(3) 推荐(0) 编辑