会员
T恤
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
一只小卷福
博客园
首页
新随笔
联系
管理
订阅
2025年3月14日
场景题:100G的文件里有很多id,用1G内存的机器排序,怎么做?
摘要: 海量数据排序思路 核心方案:外排序(分治+多路归并)MapReduce 外排序是指数据量太大,无法全部加载到内存中,需要将数据分成多个小块进行排序,然后将排序后的小块合并成一个大的有序块 1.分块排序(Map阶段) 分块策略 按1G内存容量限制,将100G文件拆分为 200个500MB分块(保留内存
阅读全文
posted @ 2025-03-14 09:16 卷福同学
阅读(65)
评论(0)
推荐(0)