2022年11月20日
Flink-简单介绍
摘要： 1，Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务： 2，DataStream API，对数据流进行流处理操作，将流式的数据抽象成分布式的数据流 阅读全文
posted @ 2022-11-20 21:58 博某园保安大队长 阅读(100) 评论(0) 推荐(0)
Flink-Exactly once(精确一次)
摘要： 目的：保证数据在生产，消费，sink端都只被精确一次。保证结果一致性。 为了达到这目的，采用的措施有： 1，生产端：往Kafka生产数据时有幂等，ack，事务，三个措施。 ps：幂等：无论数据输入多少次，只被记录一次 ack：生产者往Kafka的topic的某个分区写数据时的一个机制。当ack=0： 阅读全文
posted @ 2022-11-20 21:48 博某园保安大队长 阅读(438) 评论(0) 推荐(0)
2022年11月16日
初识Flink简单介绍
摘要： Flink是实时计算框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。 有界流和无界流都是基于Datastream这个Flink的编程模型。Flink自己管理内存机制，批流统一 Flink会自动识别运行模式，能以内存速度和任意规模进行计算. Flink处理过程分为三步：source 阅读全文
posted @ 2022-11-16 21:51 博某园保安大队长 阅读(121) 评论(0) 推荐(0)