摘要: 地址: https://www.doubao.com/chat/collection/35409788456678402?type=Thread 主要用在shuffle和状态保存两种场景 阅读全文
posted @ 2026-01-09 17:34 秋水依然 阅读(2) 评论(0) 推荐(0)
摘要: 一、背景和过程 Shuffle是把分散在不同节点的「相同 Key 数据」聚到一起,核心规则是「相同 Key 去同一个地方」,这个过程中就会涉及到几个问题, 本地分类(Map 端) 每个教室先把手里的试卷,按「班级」分成几摞(比如一班一摞、二班一摞),写在小纸条上标记(避免搞混) 先在本地整理,减少后 阅读全文
posted @ 2026-01-09 11:59 秋水依然 阅读(3) 评论(0) 推荐(0)