码以致用

摘要： Flink是流计算领域的事实标准，而Flink sql的广泛应用极大地推动了这一标准的确立。 在mysql里我们可以很方便地通过show tables from db1 like '%a'直接从上百个库找出db1库a开头的表，但之前flink只支持show tables查出当前库的表，该如何改造呢？ 阅读全文

摘要： 从入行做数据库开发，到2018年过渡到大数据开发，可以说我已经与sql朝夕相处了七八年了，经常惊讶于简单的语法就能产生复杂的操作，而且还能根据索引等统计信息自动优化，不禁很想实现自己的sql语法，却不知道这是怎么做到的，繁忙的工作、庞大的语法解析及优化的储备知识让我迟迟难以行动起来，但只要出现契机并 阅读全文

摘要： 工作七年以来，陆陆续续向社区提交了一些源码贡献，即Pull Request，简称PR。对于一个热爱技术的开发人员来说，能读懂被业界广泛使用的开源框架里的代码，甚至回馈社区，将是一件莫大的荣耀。下面简单聊聊这件大事，可能限于知识水平有些不足或片面的地方，希望多多理解。 一、我目前的社区贡献 以下列出的 阅读全文

摘要： 一、数据内容 t20 ├── data │ ├── 00000-0-9c7ff22e-a767-4b85-91ec-a2771e54c209-00001.parquet │ └── 00000-0-ecd3f21c-1bc0-4cdc-8917-d9a1afe7ce55-00001.parquet 阅读全文

摘要： 是一个商用Flink sql平台，基于k8s部署 一、安装 提前安装好docker、k8s、kubectl、helm git clone --branch release-2.3 https://github.com/ververica/ververica-platform-playground.g 阅读全文

摘要： Flink: 1.11.0 Iceberg: 0.11.1 hive: 2.3.8 hadoop: 3.2.2 java: 1.8 scala: 2.11 一、下载或编译iceberg-flink-runtime jar包 下载 wget https://repo.maven.apache.org/ 阅读全文

摘要： 使用如下方式，我在做flink、presto源码贡献时就是这样处理的，非常实用 1、git clone 源分支 2、git remote add my fork分支 3、每次保存源分支是最新的，git checkout master, git pull 4、新建本地分支修改源码后，先rebase变基 阅读全文

摘要： 在grpc里可以指定一个服务器端的流方法。比如流视频传输。不是返回一个响应，而是返回零个或多个响应 使用官方python版route guide例子，server端流模式，client端普通模式，经过如下小的修改，对实际的一些行为进行一些探究 服务端 i = 0 #新增 def ListFeatur 阅读全文

摘要： 架构 开源分布式流存储服务 本质是在计算引擎与底层存储间充当解耦层，旨在解决新一代大数据平台在数据存储层上的挑战 1、数据湖 Pravega 提供的 Stream 原语可以避免现有大数据架构中原始数据在多个开源存储搜索产品中移动而产生的数据冗余现象，其在存储层就完成了统一的数据湖（一处存储，多处使用 阅读全文

摘要： window+trigger+watermark处理全局乱序数据，指定窗口上的allowedLateness可以处理特定窗口操作的局部事件时间乱序数据 1、流处理系统中的微批 Flink内部也使用了某种形式的微批处理技术，在shuffle阶段将含有多个事件的缓冲容器通过网络发送，而不是发送单个事件 阅读全文