会员
周边
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
天一直很蓝
博客园
首页
新随笔
联系
订阅
管理
2016年4月14日
Hadoop处理大量小文件的问题和解决方法
摘要: HDFS的block size(默认64M),小文件指的是那些size比64M小的多的文件。如果在HDFS中存储小文件,那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。而HDFS的问题在于无法很有效的处理大量小文件。任何一个文件,目录和block,在HDFS中都会被表示
阅读全文
posted @ 2016-04-14 20:09 天一直很蓝
阅读(693)
评论(0)
推荐(0)