09 2020 档案

摘要:一.调度 Flink通过Task Slots来定义执行资源。每个TaskManager有一到task slot,每个task slot可以运行一条由多个并行task组成的流水线。这样一条流水线由多个连续的task组成,比如并行度n的MapFunction和并行度为n的ReduceFunction。需 阅读全文
posted @ 2020-09-30 16:39 Dlimeng 阅读(15) 评论(0) 推荐(0)
摘要:一.简介 Flink是一个用于状态化并行流处理的分布式系统。分布式系统需要应对的常见挑战包括分配合管理集群计算资源,进程协调,持久且高可用的数据存储及故障恢复等等。 Flink在已经有的集群基础设施和服务之上专注于它的核心功能——分布式数据流处理。Flink和很多集群管理器(Yarn、Kuberne 阅读全文
posted @ 2020-09-27 16:13 Dlimeng 阅读(17) 评论(0) 推荐(0)
摘要:当今应用多是类微服务架构,每个服务解耦,只处理一种逻辑,服务之间的调用为了实现异步和解耦,通过提交事件后再由服务分发消费的形式完成。 这使得事件的分发消费算法需要处理大量不同种类的事件,这些事件在紧急程度、预计执行时间、是否可放弃等方面具有不同的要求,而且事件抵达的高峰与低谷之间的差距非常大,处于难 阅读全文
posted @ 2020-09-25 13:33 Dlimeng 阅读(9) 评论(0) 推荐(0)