flink 在技术架构中的配套服务 - 实践

Flink 在技术架构中的配套服务主要包括以下几类，它们共同支撑了 Flink 集群的高效运行和扩展能力：

1. ‌资源管理服务‌

Flink 需要与资源管理平台集成，以动态分配和管理计算资源。常见的资源管理器包括：

YARN‌：Hadoop 生态中的资源管理框架，支持 Flink 作业的提交和资源调度‌。
Kubernetes (K8s)‌：容器编排平台，提供弹性伸缩和资源隔离能力‌。
Mesos‌：分布式系统内核，协助多框架资源共享‌。
Standalone‌：Flink 自带的资源管理设备，适用于简便部署场景‌。
2. ‌数据存储与消息队列‌

Flink 依赖外部存储系统实现数据输入/输出和状态持久化：

分布式存储‌：如 HDFS、S3，用于存储检查点（Checkpoint）和 Savepoint‌。
消息队列‌：如 Kafka，作为流式数据源或 Sink，支持高吞吐数据传输‌。
3. ‌元数据与协调服务‌
ZooKeeper‌：用于 Flink 高可用（HA）部署，管理 JobManager 的选举和状态同步。
REST API‌：提供集群监控、作业管理接口，便于集成运维工具。
4. ‌数据集成与同步设备‌
Flink CDC‌：基于变更数据捕获（CDC）技术，实现数据库（如 MySQL）与数据仓库（如 StarRocks）的实时同步‌。
Connectors‌：提供与多种数据源的连接器（如 JDBC、Hive），简化数据集成流程‌。
5. ‌监控与运维服务‌
Flink Web UI‌：可视化展示作业状态、吞吐量、延迟等指标‌。
日志平台‌：如 ELK（Elasticsearch、Logstash、Kibana），用于日志收集和分析。
6. ‌开发与调试工具‌
Flink SQL Client‌：支持 SQL 查询和流批处理任务开发‌。
IDE 插件‌：如 IntelliJ 插件，提供代码补全和本地调试功能。

这些配套服务与 Flink 的核心组件（JobManager、TaskManager）协同工作，构建了完整的流批一体化处理生态‌。
Flink高可用部署通过主备JobManager架构消除单点故障，核心依赖ZooKeeper实现分布式协调与元数据管理，结合HDFS/S3等持久化存储保存状态数据。这种架构确保JobManager故障时1-3秒内完成自动切换，任务从最新Checkpoint恢复，保障流处理7×24小时不间断运行。

一、核心组件与素材分工

Flink HA集群由三类关键组件构成，形成"协调-计算-存储"三层架构：

协调层：ZooKeeper集群

• 核心职责：Leader选举、分布式锁、元数据指针存储
• 存储内容：Leader JobManager地址、JobGraph指针、Checkpoint路径等轻量级元数据（KB级）
• 典型配置：3节点集群，每个节点2核4GB内存，配置tickTime=2000、initLimit=10保证强一致性

计算层：主备JobManager与TaskManager

• JobManager：Active节点负责任务调度与Checkpoint协调，Standby节点实时同步元数据，配置high-availability.jobmanager.port=50000-50025指定通信端口范围
• TaskManager：按CPU核心数配置slot（建议1核1slot），每个slot独立管理内存资源，通过taskmanager.memory.process.size控制总内存

存储层：持久化存储系统

• ZooKeeper+HDFS分工：

  存储介质