Linux----系统缓冲区优化

Linux缓冲区优化

1.设置合理的预读取缓冲区大小

①：查看磁盘占用情况

输入：df -h

②：读取设备的预读值

输入：sudo  blockdev --getra /dev/sda1

输出值： 8192

③：修改设备的预读值

输入：sudo blockdev --setra 10240 /dev/sda1

④：重新查看预读值

输入：sudo blockdev --getra /dev/sda1

输出值：10240

2.利用hadoop集群自带测试程序测试磁盘性能

①：启动集群

三个节点启动：zkServer.start start

master启动：start-all.sh

jps查看进程：

②：进行测试

进入 /opt/hadoop/share/hadoop/mapreduce/ 下

写入文件测试 

输入：hadoop jar hadoop-mapreduce-client-jobclient-2.7.1-tests.jar TestDFSIO -write -size 1GB

③：利用命令删除生成的测试数据

输入：hadoop jar hadoop-mapreduce-client-jobclient-2.7.1-tests.jar TestDFSIO -clean

④：如果想进行多文件的测试可以将后面的参数进行修改 

输入：hadoop jar hadoop-mapreduce-client-jobclient-2.7.1-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

例如这条命令是用与测试 10 个 128MB 文件写入速度，-nrFiles 为指定文件数，-fileSize 为指定每个文件的大小，读取相同