2022年3月1日
MapReduce的执行次数问题
摘要： 执行一个MapReduce任务时，总共分为MapTask和ReduceTask. 对于MT来说，是有多少个切片就执行多少个MT，如文件为200M，切片大小为128M，那么就用两个MT来执行任务就足够了。且一个MT只会产生一个结果文件。 而对于RT来说，是看需求要分为多少个分区，如对字母进行统计次数， 阅读全文
posted @ 2022-03-01 22:01 功不唐捐-纯小喜 阅读(383) 评论(0) 推荐(0)
idea快捷键，查看maven依赖的源码
摘要： 1.双击shift 2.查看这个类里面具体的方法 Ctrl+F12 3.如果这个类是抽象类，可以看其实现类，按Ctrl+H 阅读全文
posted @ 2022-03-01 21:40 功不唐捐-纯小喜 阅读(938) 评论(0) 推荐(0)
使用反编译工具查看hadoop中的MapReduce实例的源代码
摘要： 在该目录下的hadoop-mapreduce-examples-3.1.3.jar存放了常见的MapReduce实例，如Wordcount； 下载到Windows本地 sz指令 拉取到反编译插件 阅读全文
posted @ 2022-03-01 10:25 功不唐捐-纯小喜 阅读(79) 评论(0) 推荐(0)