2025 年 7月 2 日随笔档案 - paulgeo

2025年7月2日

摘要：思路分析解析sql语义，通过编程语言得出正确结果，再与sql执行结果对比（工作量大直接放弃）通过原生spark sql执行得出结果做对比，（可行，问题点就在于如何对比两个结果）对比sql结果是否正确分为两点：1.两者执行sql结果行数一致且sne的sql结果的每行是否存在于spark sql 阅读全文

posted @ 2025-07-02 15:35 paulgeo 阅读(42) 评论(0) 推荐(0)

kafka vs rabbitmq的简单总结

摘要：差异点简述编写语言不同，kafka消息是消费者拉取，rabbitmq可推可拉 1.kafka优势：吞吐量更大上限更高保证消息顺序化消费更强，生产线消息幂等性的支持更能支持多消费者情况，一份数据不会像rabbit生成多份支持消息回溯流控管理支持生产与消费端 2.rabbitmq优势：一些阅读全文

posted @ 2025-07-02 15:29 paulgeo 阅读(13) 评论(0) 推荐(0)

kafka vs rocketmq 自己总结

摘要：简单总结： rocketmq 设计目的：承载更多～无限制的队列数量 or topic数量，更低的延迟，更高的消息可靠性从性能角度： 1.简单说同规格集群kafka 吞吐量基本一定更大，但是要求分区量大并且稳定流量、低延时场景下 rocketmq更有优势 2.架构层面：主要带宽影响： kaf 阅读全文

posted @ 2025-07-02 15:29 paulgeo 阅读(73) 评论(0) 推荐(0)

kafka 总结

摘要： https://developer.aliyun.com/article/980757 1.Kafka 吞吐量为何很高？ broker维度： 1.分区实现每个分区一个线程维护一个文件，并发写 2.磁盘顺序写入 3.多节点机器分布式架构，均衡负载 4.零拷贝: 零拷贝指的是在数据传输过程中避免不必阅读全文

posted @ 2025-07-02 15:29 paulgeo 阅读(10) 评论(0) 推荐(0)