摘要：
Java 原生序列化的问题 性能差 Java 自带的序列化是基于反射的，序列化时需要写入大量类元数据（类名、字段描述、版本号等），字节流臃肿。 反序列化时依赖反射和对象创建，速度比 Protobuf/Avro 慢一个数量级。 不跨语言 Java 序列化生成的字节流格式只有 JVM 认识，Python 阅读全文
posted @ 2025-09-04 15:35
Boblim
阅读(21)
评论(0)
推荐(0)
摘要：
一、背景 最近有一个需求是：要求有一个类对象为Order，它有string类型的字段orderNo和Long类型的字段cost，生产者写到rocketMQ的value是Order对象序列化后的字节数组、key值是orderNo字段，要求spark以手动提交的方式消费rocketMQ，并将数据依次写入 阅读全文
posted @ 2025-09-04 15:28
Boblim
阅读(16)
评论(0)
推荐(0)
摘要：
一、背景 最近有一个需求是：要求有一个类对象为Order，它有string类型的字段orderNo和Long类型的字段cost，生产者写到rocketMQ的value是Order对象序列化后的字节数组、key值是orderNo字段，要求spark以自动提交的方式消费rocketMQ，并将数据依次写入 阅读全文
posted @ 2025-09-04 15:05
Boblim
阅读(10)
评论(0)
推荐(0)
摘要：
在 Spark 里接入 RocketMQ，主要有两大类方式： 🔹 1. 基于 老的 Spark Streaming (DStream API) RocketMQ 社区提供过 rocketmq-spark connector（在 apache/rocketmq-externals 里），可以像 Ka 阅读全文
posted @ 2025-09-04 14:27
Boblim
阅读(99)
评论(0)
推荐(0)
摘要：
🔑 Spark Streaming vs Structured Streaming 对比表 对比维度Spark StreamingStructured Streaming 编程模型 基于 RDD 和 DStream（离散流，本质是一系列小批次 RDD） 基于 Dataset/DataFrame（统 阅读全文
posted @ 2025-09-04 01:08
Boblim
阅读(15)
评论(0)
推荐(0)
摘要：
这三个是 Spark 里的核心数据抽象，很多人会混淆。我们来逐层对比一下： 1. 概念对比 特性RDD (Resilient Distributed Dataset)DataFrameDataset 提出时间 Spark 最早的数据抽象 (Spark 1.0 就有) Spark 1.3 引入 Spa 阅读全文
posted @ 2025-09-04 01:08
Boblim
阅读(14)
评论(0)
推荐(0)
摘要：
在 Spark Structured Streaming 里，确实没有像 DStream API 那样的 commitAsync 让你手动提交 Kafka offset。原因主要有以下几个方面： 1. Structured Streaming 的 核心设计理念 Structured Streamin 阅读全文
posted @ 2025-09-04 00:55
Boblim
阅读(6)
评论(0)
推荐(0)
摘要：
一、背景 最近有一个需求是：要求有一个类对象为Order，它有string类型的字段orderNo和Long类型的字段cost，生产者写到kafka的value是Order对象序列化后的字节数组、key值是orderNo字段，要求spark以手动提交的方式消费kafka，并将数据依次写入到hive表 阅读全文
posted @ 2025-09-04 00:07
Boblim
阅读(24)
评论(0)
推荐(0)
浙公网安备 33010602011771号