Spark Streaming与Kafka集成——高性能实时数据管道
内容要点：

集成方式对比：

Receiver模式（已弃用）：通过WAL保证可靠性，但效率低。

Direct模式（推荐）：直接连接Kafka分区，并行度一致，Exactly-Once语义基础。

Offset管理：通过Checkpoint自动保存Offset，或手动提交至外部存储（如ZooKeeper/数据库）。

代码实战：使用KafkaUtils.createDirectStream（DStream）或spark.readStream.format("kafka")（Structured Streaming）消费数据。