会员
周边
新闻
博问
闪存
众包
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
肥仔佳文猪
博客园
首页
新随笔
联系
订阅
管理
2021年4月21日
HDFS的小文件问题
摘要: HDFS 中任何一个文件,目录或者数据块在 NameNode 节点内存中均以一个对象形式表示(元数据),而这受到 NameNode 物理内存容量的限制。每个元数据对象约占 150 byte,所以如果有1千万个小文件,每个文件占用一个block,则 NameNode 大约需要2G空间。如果存储1亿个文
阅读全文
posted @ 2021-04-21 14:53 肥仔佳文猪
阅读(208)
评论(0)
推荐(0)
公告