摘要:
不多说,直接上代码。 代码版本1 代码版本2 阅读全文
posted @ 2016-12-13 23:38
大数据和AI躺过的坑
阅读(2554)
评论(0)
推荐(0)
摘要:
不多说,直接上代码。 代码版本1 在Hadoop集群里测试的代码版本 在Eclipse/MyEclipse集群里测试的代码版本 代码版本2 阅读全文
posted @ 2016-12-13 23:26
大数据和AI躺过的坑
阅读(2468)
评论(0)
推荐(0)
摘要:
不多说,直接上代码。 代码版本1 代码版本2 阅读全文
posted @ 2016-12-13 23:12
大数据和AI躺过的坑
阅读(8955)
评论(0)
推荐(0)
摘要:
不多说,直接上代码。 Hadoop MapReduce编程 API入门系列之小文件合并(二十九) 生成的结果,作为输入源。 代码 package zhouls.bigdata.myMapReduce.ParseTVDataCompressAndCounter; import java.net.URI 阅读全文
posted @ 2016-12-13 21:08
大数据和AI躺过的坑
阅读(410)
评论(0)
推荐(0)
摘要:
不多说,直接上代码。 Hadoop 自身提供了几种机制来解决相关的问题,包括HAR,SequeueFile和CombineFileInputFormat。 Hadoop 自身提供的几种小文件合并机制 Hadoop HAR 将众多小文件打包成一个大文件进行存储,并且打包后原来的文件仍然可以通过Map- 阅读全文
posted @ 2016-12-13 20:48
大数据和AI躺过的坑
阅读(4082)
评论(0)
推荐(0)
摘要:
不多说,直接上代码。 Map output bytes=247 Map output materialized bytes=275 Input split bytes=139 Combine input records=0 Combine output records=0 Reduce input 阅读全文
posted @ 2016-12-13 19:18
大数据和AI躺过的坑
阅读(870)
评论(0)
推荐(0)
摘要:
不多说,直接上代码。 MapReduce 计数器是什么? 计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器,记录数据或者进度的变化情况。 MapReduce 计数器能做什么? MapReduce 计数器(Counter)为我们提供一个窗口,用于观察 阅读全文
posted @ 2016-12-13 11:34
大数据和AI躺过的坑
阅读(487)
评论(0)
推荐(0)