2022年3月1日
MapReduce的执行次数问题
摘要： 执行一个MapReduce任务时，总共分为MapTask和ReduceTask. 对于MT来说，是有多少个切片就执行多少个MT，如文件为200M，切片大小为128M，那么就用两个MT来执行任务就足够了。且一个MT只会产生一个结果文件。 而对于RT来说，是看需求要分为多少个分区，如对字母进行统计次数， 阅读全文
posted @ 2022-03-01 22:01 功不唐捐-纯小喜 阅读(383) 评论(0) 推荐(0)
idea快捷键，查看maven依赖的源码
摘要： 1.双击shift 2.查看这个类里面具体的方法 Ctrl+F12 3.如果这个类是抽象类，可以看其实现类，按Ctrl+H 阅读全文
posted @ 2022-03-01 21:40 功不唐捐-纯小喜 阅读(938) 评论(0) 推荐(0)
使用反编译工具查看hadoop中的MapReduce实例的源代码
摘要： 在该目录下的hadoop-mapreduce-examples-3.1.3.jar存放了常见的MapReduce实例，如Wordcount； 下载到Windows本地 sz指令 拉取到反编译插件 阅读全文
posted @ 2022-03-01 10:25 功不唐捐-纯小喜 阅读(79) 评论(0) 推荐(0)
2022年2月28日
在Windows的idea上打包，然后在Linux的Hadoop集群上跑MapReduce
摘要： 以Wordcount为例： 1.写MapReduce的流程是什么？ 可以总结为三个过程： 一是写Mapper，重写map方法时，是每输入一行数据就调用一次map方法，如第一行i am;第二行a student；那么总共会调用两次map方法 二是写Reducer，重写reduce方法时，是一组相同ke 阅读全文
posted @ 2022-02-28 23:43 功不唐捐-纯小喜 阅读(190) 评论(0) 推荐(0)
2022年2月23日
自定义配置Hadoop文件
摘要： 1.找到Hadoop的配置文件目录，在Hadoop的安装目录下，etc/hadoop/ 阅读全文
posted @ 2022-02-23 23:01 功不唐捐-纯小喜 阅读(75) 评论(0) 推荐(0)
2022年2月22日
在/home/用户名/bin 目录下添加.sh文件，实现自定义指令的效果
摘要： 在/home/lisi（lisi为登录用户名）目录下，使用echo $PATH,发现Linux已经把/home/lisi/bin添加在了PATH中（/bin目录还没有创建），利用这个我们可以在/home/lisi目录下添加/bin文件夹，然后在/bin文件夹里添加脚本文件，跟上一篇讲到的在/etc/ 阅读全文
posted @ 2022-02-22 20:45 功不唐捐-纯小喜 阅读(316) 评论(0) 推荐(0)
2022年2月21日
Linux中添加系统变量（以JDK为例）安装在/etc/profile.d/目录下
摘要： 1.自定义两个目录，一个是/opt/software，用来存放软件压缩包的；另一个是/opt/module，用来存放解压后的软件 2.把jdk压缩包上传到software目录后，解压到module目录 3.以前在学校配置jdk时，都是直接在 /etc/profile中添加 但是这次发现里面其实不建议 阅读全文
posted @ 2022-02-21 14:42 功不唐捐-纯小喜 阅读(575) 评论(0) 推荐(0)
2022年2月18日
手动为centos7分磁盘空间
摘要： 设置了25GB，/boot为标准分区，ext4,1GB；swap为标准分区，swap，2GB；其余为该目录 / 标准分区，ext4,22GB 阅读全文
posted @ 2022-02-18 17:42 功不唐捐-纯小喜 阅读(382) 评论(0) 推荐(0)
2021年10月13日
shell入门
摘要： 在Linux中，一切皆文件 1.使用cat /etc/shells 可以查看shells文件下的指令，重点关注/bin/sh 和/bin/bash 2.使用cd /bin 换到/bin目录下，发现sh就是一个软连接，而且指向的就是bash，所以bash和sh两个指令是一样的 3.创建一个shell脚 阅读全文
posted @ 2021-10-13 23:41 功不唐捐-纯小喜 阅读(42) 评论(0) 推荐(0)
2021年10月12日
Linux常见指令
摘要： 大部分指令都可以通过 man 指令的方式查看具体的用法 7.2.16 > 输出重定向和 >> 追加 1）基本语法 （1）ls -l > 文件 （功能描述：列表的内容写入文件a.txt中（覆盖写）） （2）ls -al >> 文件 （功能描述：列表的内容追加到文件aa.txt的末尾） （3）cat 文 阅读全文
posted @ 2021-10-12 15:25 功不唐捐-纯小喜 阅读(52) 评论(0) 推荐(0)