摘要: 本篇论文与《A Catalog of Stream Processing Optimizations》相似,都是介绍流处理系统中的优化方法,二者有些方法甚至重叠,但本文多了一些数学论证,从数学角度计算各个方法的代价与收益,本文主要介绍了6种模式(优化方法) 流模型建模 本文提出的流模型为一组应用程序 阅读全文
posted @ 2023-03-06 14:57 红橙黄绿蓝鳍金枪鱼 阅读(27) 评论(0) 推荐(0)
摘要: 摘要 本文主要基于两个方面,一方面是流计算的各个社区都对流计算做了一些优化,本文汇总这些优化做了一个目录,另一方面这些社区给优化起的名字也不尽相同,同种优化可能有多个术语,本文统一了这些术语。 算子重排序(OPERATOR REORDERING A.K.A. HOISTING, SINKING, R 阅读全文
posted @ 2023-03-05 16:05 红橙黄绿蓝鳍金枪鱼 阅读(55) 评论(0) 推荐(0)
摘要: 编译flink源码时卡在了Running 'npm ci --cache-max=0 --no-save' in ...... 解决方案: 将flink-runtime-web/pom.xml文件中的 修改为: <arguments>install -g -registry=https://regi 阅读全文
posted @ 2023-03-03 13:50 红橙黄绿蓝鳍金枪鱼 阅读(658) 评论(0) 推荐(0)
摘要: 摘要 Chi主要是为了解决大规模集群下负载的变化性,以及难以进行静态参数调优、多种多样的用户SLO而提出的,具体来说,就是让流系统能够在运行时动态的重配置,Chi本质上是通过在原有流系统上嵌入一个控制平面,允许用户自定义控制操作,从而可以监测到系统运行情况,进行动态重配置 Chi以一个控制环路的方式 阅读全文
posted @ 2022-09-25 15:47 红橙黄绿蓝鳍金枪鱼 阅读(50) 评论(0) 推荐(0)