CDH | LinuxCentOS7挂载 CDH DataNode扩容 4T
CDH | LinuxCentOS7挂载 CDH DataNode扩容 4T
问题: CDH集群因业务数据过多,HDFS使用率已经超过90%，需要给CDH的HDFS扩容
解决: 向运维部门给每台机器申请了4T硬盘，挂载小于2T硬盘空间使用fdisk即可，大于2T空间则使用parted，使用GPT分区
一、磁盘挂载到机器
-
MBR分区表：（MBR含义：主引导记录）
所支持的最大卷：2T （T; terabytes,1TB=1024GB）
对分区的设限：最多4个主分区或3个主分区加一个扩展分区。 -
GPT分区表：（GPT含义：GUID分区表）
支持最大卷：18EB，（E：exabytes,1EB=1024TB）
每个磁盘最多支持128个分区
使用 parted 建立大小超过2T的分区
//查看硬盘 以及 确认硬盘位置
fdiskk -l
//选择要分区的硬盘 这里为/dev/vdd (/dev 为物理根路径)
parted /dev/sdb
// 对磁盘信息进行查看：（这里在parted命令中）
(parted)print
//可以看到磁盘还没有进行分区。
//create the GPT disklabel – in other words, create the partitioning tables to support GPT
//建立GPT的磁盘标签，换句话说就是创建磁盘分区表支持GPT
(parted)mklabel gpt
yes
//创建分区，并分配合适的大小
//create a partition:创建一个分区
(parted) mkpart primary xfs 0% 100%
// 分区命令 分区名称 分区格式 分区范围 （这里直接全部分为1个区）
//(可跳过) 分区失误可以将分区删除重新分区 分区编号可以print查看
(parted) rm 分区编号
//退出 paeted
//分区格式化 可 将硬盘格式化为ext4格式
mkfs.ext4 /dev/vdd
//挂载
//创建挂载目录
mkdir /(你需要的目录)
//挂载到目录
mount /dev/vdd /(你需要的目录)
//查看
df -h
//自动挂载 (重启后可自动挂载 如不设置重启后需要重新挂载)
vim /etc/fstab
//添加
/dev/vdd /mnt/vdd ext4 defaults 0 2
//取消挂载
umount /dev/vdd /（你挂载的目录）
fstab中，每条配置信息都分为固定的6个部分
[2]:fs_file - 该字段描述希望的文件系统加载的目录点，对于swap设备，该字段为none；对于加载目录名包含空格的情况，用40来表示空格。
[3]:fs_type - 定义了该设备上的文件系统，一般常见的文件类型为ext4 (Linux设备的常用文件类型)、vfat(Windows系统的fat32格式)、NTFS、isoArray600等。在不确定的情况下可以使用auto。
[4]:fs_options - 指定加载该设备的文件系统是需要使用的特定参数选项，多个参数是由逗号分隔开来。
对于大多数系统使用”defaults”就可以满足需要。不多说。
[5]:fs_dump - 该选项被”dump”命令使用来检查一个文件系统应该以多快频率进行转储，若不需要转储就设
置该字段为0
[6]:fs_pass - 该字段被fsck命令用来决定在启动时需要被扫描的文件系统的顺序，根文件系统”/”对应该字
段的值应该为1，其他文件系统应该为2。若该文件系统无需在启动时扫描则设置该字段为0
本例为 /dev/vdd /mnt/vdd ext4 defaults 0 2
二、cdh集群磁盘扩容
- 在磁盘挂载目录下创建文件夹
mkdir -p /mnt/vdd/dfs/dn - 对目录进行赋权限
chown -R hdfs:hadoop /mnt/vdd/dfs/dn - 悬挂新目录到hdfs数据目录下
cdh 集群->hdfs->配置->DataNode->添加新的数据目录->保存更改->重启集群 - 测试新挂磁盘是否被HDFS识别使用 查看linux目录中是否有文件生成 或者
df -lh查看磁盘使用率
[参考] https://blog.csdn.net/u012150360/article/details/81333051
[参考] https://blog.csdn.net/weixin_34348805/article/details/92378306
