Boblim

2025年9月10日

摘要：最近一直在讨论支付相关的话题，那就以交易订单表 / 支付单表主键设计为话题，讨论是用逻辑主键（自增ID、雪花ID）还是直接用业务单号（交易单号/支付单号）做主键，以及分库分表的影响。一、主键设计对比 1. 主键设计的两种方式方式 A：业务单号作为主键比如： trade_id（交易单号）直阅读全文

posted @ 2025-09-10 17:56 Boblim 阅读(91) 评论(0) 推荐(0)

对于退款/拒付这类逆向订单操作需要创建新的单号么

摘要：一、问题背景这两天被问了这么一个问题，所以才开启了这个话题。问题如下：支付中心一般都是由交易系统和支付系统两大系统构成，其中交易系统主要是处理跟商户或用户的请求，创建相关订单并发起支付，支付系统主要是处理跟支付通道的对接，将支付请求转给支付通道并处理响应。正常用户发起支付请求，交易系统创建交易订阅读全文

posted @ 2025-09-10 17:05 Boblim 阅读(95) 评论(0) 推荐(0)

2025年9月6日

spark streaming窗口操作内存占用要怎么估算

摘要：问题抛出：像窗口大小为1小时，滑动步长为1分钟的滑动窗口，我理解最大并行的窗口数是60（比如第一个是0点开始的，那么在59分的时候就有60个），那么每个窗口的大小是一样的么，他们所占内存的大小跟自己窗口有关，还是底层数据之间其实是共享的呢。举例，如果我们1小时内，因为每分钟去消息队列读，所以其实有6 阅读全文

posted @ 2025-09-06 15:53 Boblim 阅读(11) 评论(0) 推荐(0)

Spark streaming的窗口操作(window、reduceByWindow等)和foreachRDD结合

摘要：一、背景最近有一个需求是：要求有一个类对象为Order，它有string类型的字段orderNo和Long类型的字段cost，生产者写到kafka的value是Order对象序列化后的字节数组、key值是orderNo字段，要求spark以手动提交的方式消费kafka，并将数据依次写入到hive表阅读全文

posted @ 2025-09-06 01:25 Boblim 阅读(22) 评论(0) 推荐(0)

2025年9月4日

生产中，为什么很少用Java原生序列化转化成字节数组，而都建议用JSON/Avro/Protobuf

摘要： Java 原生序列化的问题性能差 Java 自带的序列化是基于反射的，序列化时需要写入大量类元数据（类名、字段描述、版本号等），字节流臃肿。反序列化时依赖反射和对象创建，速度比 Protobuf/Avro 慢一个数量级。不跨语言 Java 序列化生成的字节流格式只有 JVM 认识，Python 阅读全文

posted @ 2025-09-04 15:35 Boblim 阅读(36) 评论(0) 推荐(0)

spark streaming(非structured steaming)消费rocketMQ，并手动提交

摘要：一、背景最近有一个需求是：要求有一个类对象为Order，它有string类型的字段orderNo和Long类型的字段cost，生产者写到rocketMQ的value是Order对象序列化后的字节数组、key值是orderNo字段，要求spark以手动提交的方式消费rocketMQ，并将数据依次写入阅读全文

posted @ 2025-09-04 15:28 Boblim 阅读(19) 评论(0) 推荐(0)

Structured Streaming消费rocketMQ

摘要：一、背景最近有一个需求是：要求有一个类对象为Order，它有string类型的字段orderNo和Long类型的字段cost，生产者写到rocketMQ的value是Order对象序列化后的字节数组、key值是orderNo字段，要求spark以自动提交的方式消费rocketMQ，并将数据依次写入阅读全文

posted @ 2025-09-04 15:05 Boblim 阅读(13) 评论(0) 推荐(0)

spark streaming消费rocketmq的几种方式

摘要：在 Spark 里接入 RocketMQ，主要有两大类方式： 🔹 1. 基于老的 Spark Streaming (DStream API) RocketMQ 社区提供过 rocketmq-spark connector（在 apache/rocketmq-externals 里），可以像 Ka 阅读全文

posted @ 2025-09-04 14:27 Boblim 阅读(104) 评论(0) 推荐(0)

RDD、dataframe和dateset区别

摘要：这三个是 Spark 里的核心数据抽象，很多人会混淆。我们来逐层对比一下： 1. 概念对比特性RDD (Resilient Distributed Dataset)DataFrameDataset 提出时间 Spark 最早的数据抽象 (Spark 1.0 就有) Spark 1.3 引入 Spa 阅读全文

posted @ 2025-09-04 01:08 Boblim 阅读(29) 评论(0) 推荐(0)

spark streaming和Structured Streaming区别

摘要： 🔑 Spark Streaming vs Structured Streaming 对比表对比维度Spark StreamingStructured Streaming 编程模型基于 RDD 和 DStream（离散流，本质是一系列小批次 RDD）基于 Dataset/DataFrame（统阅读全文

posted @ 2025-09-04 01:08 Boblim 阅读(26) 评论(0) 推荐(0)

公告