随笔分类 -  大数据

摘要:hadoop系统中,包含了很多测试工具包,如测试mapreduce系统读写文件系统,有testDFSIO工具 首先安装好hadoop,配置好环境变量 进入share目录下的mapreduce目录下面,使用测试的jar包 testDFSIO的参数如下: testDFSIO的参数如下: read 读测试 阅读全文
posted @ 2017-06-05 15:48 hellowcf 阅读(2448) 评论(0) 推荐(0)
摘要:hibench包含几个hadoop的负载 micro benchmarksSort:使用hadoop randomtextwriter生成数据,并对数据进行排序。 Wordcount:统计输入数据中每个单词的出现次数,输入数据使用hadoop randomtextwriter生成。 TeraSort 阅读全文
posted @ 2017-05-27 14:27 hellowcf 阅读(2372) 评论(0) 推荐(0)