摘要：
不多说，直接上代码。 代码版本1 代码版本2 阅读全文
posted @ 2016-12-13 23:38
大数据和AI躺过的坑
阅读(2554)
评论(0)
推荐(0)
摘要：
不多说，直接上代码。 代码版本1 在Hadoop集群里测试的代码版本 在Eclipse/MyEclipse集群里测试的代码版本 代码版本2 阅读全文
posted @ 2016-12-13 23:26
大数据和AI躺过的坑
阅读(2468)
评论(0)
推荐(0)
摘要：
不多说，直接上代码。 代码版本1 代码版本2 阅读全文
posted @ 2016-12-13 23:12
大数据和AI躺过的坑
阅读(8955)
评论(0)
推荐(0)
摘要：
不多说，直接上代码。 Hadoop MapReduce编程 API入门系列之小文件合并（二十九） 生成的结果，作为输入源。 代码 package zhouls.bigdata.myMapReduce.ParseTVDataCompressAndCounter; import java.net.URI 阅读全文
posted @ 2016-12-13 21:08
大数据和AI躺过的坑
阅读(410)
评论(0)
推荐(0)
摘要：
不多说，直接上代码。 Hadoop 自身提供了几种机制来解决相关的问题，包括HAR，SequeueFile和CombineFileInputFormat。 Hadoop 自身提供的几种小文件合并机制 Hadoop HAR 将众多小文件打包成一个大文件进行存储，并且打包后原来的文件仍然可以通过Map- 阅读全文
posted @ 2016-12-13 20:48
大数据和AI躺过的坑
阅读(4082)
评论(0)
推荐(0)
摘要：
不多说，直接上代码。 Map output bytes=247 Map output materialized bytes=275 Input split bytes=139 Combine input records=0 Combine output records=0 Reduce input 阅读全文
posted @ 2016-12-13 19:18
大数据和AI躺过的坑
阅读(870)
评论(0)
推荐(0)
摘要：
不多说，直接上代码。 MapReduce 计数器是什么？ 计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。 MapReduce 计数器能做什么？ MapReduce 计数器（Counter）为我们提供一个窗口，用于观察 阅读全文
posted @ 2016-12-13 11:34
大数据和AI躺过的坑
阅读(487)
评论(0)
推荐(0)
浙公网安备 33010602011771号