Hadoop_生产调优
一、HDFS核心参数
1、NameNode内存生产配置
（1）查看内存jmap -heap 进程号
（2）修改hadoop-env.sh配置文件：
export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"
export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m"
（3）分发并重启集群
2.NameNode心跳并发配置
（1）修改hdfs-site.xml配置文件：
企业经验：dfs.namenode.handler.count=20×〖log〗_e^(Cluster Size)，比如集群规模（DataNode台数）为3台时，此参数设置为21。
（2）分发并重启集群
3.开启回收站配置
（1）修改core-site.xml，配置垃圾回收时间为1分钟：
（2）查看回收站：回收站目录在HDFS集群中的路径：/user/atguigu/.Trash/….
（3）注意：通过网页上直接删除的文件也不会走回收站。
（4）通过程序删除的文件不会经过回收站，需要调用moveToTrash()才进入回收站
Trash trash = New Trash(conf);
trash.moveToTrash(path);
（5）只有在命令行利用hadoop fs -rm 文件名命令删除的文件才会走回收站。
（6）恢复回收站数据：hadoop fs -mv 回收站文件名 要恢复的文件路径
二、HDFS—集群压测
1.HDFS的读写性能主要受网络和磁盘影响比较大
2.在yarn-site.xml中设置虚拟内存检测为false：
3.分发并重启yarn集群
4.测试写的速度hadoop jar /opt/module/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB
5.为什么读取文件速度大于网络带宽？由于目前只有三台服务器，且有三个副本，数据读取就近原则，相当于都是读取的本地磁盘数据，没有走网络。
三、HDFS——多目录
1.NameNode多目录配置（一般刚搭好集群就要配了），存储的数据都一样，可以增加可靠性
（1）在hdfs-site.xml文件中添加如下内容：
（2）停止集群，删除三台节点的data和logs中所有数据
（3）格式化集群并启动
bin/hdfs namenode -format
sbin/start-dfs.sh
2.DataNode多目录配置，存储的数据不一样
（1）在hdfs-site.xml文件中添加如下内容：
3.集群数据均衡之磁盘间数据均衡
（1）生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。
（2）生成均衡计划
hdfs diskbalancer -plan hadoop102
（3）执行均衡计划
hdfs diskbalancer -execute hadoop102.plan.json
（4）查看当前均衡任务的执行情况
hdfs diskbalancer -query hadoop102
（5）取消均衡任务
hdfs diskbalancer -cancel hadoop102.plan.json
四、HDFS——集群扩容及缩容
1.在hadoop文件下创建白名单和黑名单
（1）在hdfs-site.xml配置文件中增加dfs.hosts配置参数
（2）分发白名单黑名单配置文件
（3）第一次添加白名单必须重启集群，不是第一次，只需要刷新NameNode节点即可
（4）刷新NameNode节点：
hdfs dfsadmin -refreshNodes
2.服役新服务器
（1）克隆hadoop105主机
（2）修改主机名称和IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
vim /etc/hostname
（3）拷贝hadoop102的/opt/module目录和/etc/profile.d/my_env.sh到hadoop105
scp -r module/* atguigu@hadoop105:/opt/module/
（4）分发环境变量sudo scp /etc/profile.d/my_env.sh root@hadoop106:/etc/profile.d/
（5）初始化：source /etc/profile
（6）删除hadoop105上Hadoop的历史数据，data和log数据
（7）配置hadoop102和hadoop103到hadoop105的ssh无密登录
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop105
（8）直接启动DataNode，即可关联到集群
hdfs --daemon start datanode
yarn --daemon start nodemanager
（9）在白名单whitelist中增加hadoop104、hadoop105，并刷新NameNode
3服务器间数据均衡
（1）开启数据均衡命令：
sbin/start-balancer.sh -threshold 10
对于参数10，代表的是集群中各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整。
（2）停止数据均衡命令：
sbin/stop-balancer.sh
注意：由于HDFS需要启动单独的Rebalance Server来执行Rebalance操作，所以尽量不要在NameNode上执行start-balancer.sh，而是找一台比较空闲的机器。
五、HDFS—存储优化
1.纠删码
（1）查看当前支持的纠删码策略
hdfs ec -listPolicies
（2）开启对RS-3-2-1024k策略的支持
hdfs ec -enablePolicy -policy RS-3-2-1024k
2.异构存储
（1）查看当前有哪些存储策略可以用
hdfs storagepolicies -listPolicies
（2）为指定路径（数据存储目录）设置指定的存储策略
hdfs storagepolicies -setStoragePolicy -path xxx -policy xxx
（3）获取指定路径（数据存储目录或文件）的存储策略
hdfs storagepolicies -getStoragePolicy -path xxx
（4）取消存储策略；执行改命令之后该目录或者文件，以其上级的目录为准，如果是根目录，那么就是HOT
hdfs storagepolicies -unsetStoragePolicy -path xxx
（5）查看文件块的分布
bin/hdfs fsck xxx -files -blocks -locations
（6）查看集群节点
hadoop dfsadmin -report
六、HDFS——故障排除
1.安全模式：
bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）
bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）
bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）
bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）
2.使用fio测试磁盘
（1）顺序写速度：
sudo fio -filename=/home/lzp/test.log -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_w
（2）顺序读速度：
sudo fio -filename=/home/alzp/test.log -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r
（3）随机写速度：
sudo fio -filename=/home/lzp/test.log -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_randw
（4）混合随机读写：
sudo fio -filename=/home/lzp/test.log -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r_w -ioscheduler=noop
3.小文件归档
（1）把/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/output路径下。
hadoop archive -archiveName input.har -p /input /output
（2）查看归档
hadoop fs -ls /output/input.har
hadoop fs -ls har:///output/input.har
（3）解归档文件
hadoop fs -cp har:///output/input.har/* /
七、HDFS—集群迁移
采用distcp命令实现两个Hadoop集群之间的递归数据复制
其中hadoop102与hadoop105属于两个不同的集群
bin/hadoop distcp hdfs://hadoop102:8020/user/atguigu/hello.txt hdfs://hadoop105:8020/user/atguigu/hello.txt
八、MapReduce生产经验
1.MapReduce跑的慢的原因
（1）计算机性能：CPU、内存、磁盘、网络
（2）I/O操作优化：数据倾斜；Map运行时间太长，导致Reduce等待过久；小文件过多
九、参数调优
1.HDFS参数调优
（1）修改：hadoop-env.sh
export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"
export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m"
（2）修改hdfs-site.xml
（3）修改core-site.xml
（4）分发配置
2. MapReduce参数调优
（1）修改mapred-site.xml
from mapreduce.reduce.java.opts and mapreduce.job.heap.memory-mb.ratio.
If java-opts are also not specified, we set it to 1024.
（2）分发配置
3.Yarn参数调优
（1）修改yarn-site.xml配置参数如下：
memory and CPU.
hyperthreads) should be counted as cores. Only applicable on Linux
when yarn.nodemanager.resource.cpu-vcores is set to -1 and
yarn.nodemanager.resource.detect-hardware-capabilities is true.
vcores. This value is used if yarn.nodemanager.resource.cpu-vcores
is set to -1(which implies auto-calculate vcores) and
yarn.nodemanager.resource.detect-hardware-capabilities is set to true. The number of vcores will be calculated as number of CPUs * multiplier.
for containers. If set to -1 and
yarn.nodemanager.resource.detect-hardware-capabilities is true, it is
automatically calculated(in case of Windows and Linux).
In other cases, the default is 8192MB.
for containers. This is used by the RM scheduler when allocating
resources for containers. This is not used to limit the number of
CPUs used by YARN containers. If it is set to -1 and
yarn.nodemanager.resource.detect-hardware-capabilities is true, it is
automatically determined from the hardware in case of Windows and Linux.
In other cases, number of vcores is 8 by default.
InvalidResourceRequestException.
containers.
浙公网安备 33010602011771号