随笔分类 - 大数据
摘要:hadoop系统中,包含了很多测试工具包,如测试mapreduce系统读写文件系统,有testDFSIO工具 首先安装好hadoop,配置好环境变量 进入share目录下的mapreduce目录下面,使用测试的jar包 testDFSIO的参数如下: testDFSIO的参数如下: read 读测试
阅读全文
摘要:hibench包含几个hadoop的负载 micro benchmarksSort:使用hadoop randomtextwriter生成数据,并对数据进行排序。 Wordcount:统计输入数据中每个单词的出现次数,输入数据使用hadoop randomtextwriter生成。 TeraSort
阅读全文

浙公网安备 33010602011771号