随笔分类 - Flink
摘要:问题场景 Flink SQL 是一种使用 SQL 语义设计的开发语言,用它解决具体业务需求是一种全新体验,类似于从过程式编程到函数式编程的转变一样,需要一个不断学习和实践的过程。在看完了 Flink 官方文档中 SQL 部分 ,以及官方提供的 SQL Training 后,觉得自己装备了必杀技准备横
阅读全文
摘要:上文分析了 SQL 作业提交流程和实现思路,即通过 SQL Client 管理和创建 TableEnv、设置各类信息、调用 sqlUpdate、最后复用 SQL Client 的提交作业逻辑。现在需要将该过程进行细化,并考虑如何实现 SQL 校验和调试功能。 一、作业提交步骤细化 首先,作业提交作为
阅读全文
摘要:上文提到构建平台需要实现一个更好的提交流程,具体目标是将 SQL 任务相关内容,如 SQL 、DDL、UDF、配置内容等信息作为参数,调用提交API就能在目标集群创建任务。 一、分析提交作业流程 首先借由官方文档中的整体角色流程图,可以看出左侧一部分 Flink Program 其中包括用户程序代码
阅读全文
摘要:一、理想与现实 Apache Flink 是一个分布式流批一体化的开源平台。Flink 的核心是一个提供数据分发、通信以及自动容错的流计算引擎。Flink 在流计算之上构建批处理,并且原生的支持迭代计算,内存管理以及程序优化。 实时计算(Alibaba Cloud Realtime Comput
阅读全文

浙公网安备 33010602011771号