马哥博客作业第五周

磁盘存储和文件系统管理总结

硬盘接口类型

目前常用的接口普类型

• SCSI：640MB/s，并行接口，早期服务器
• SATA：6Gbps，SATA数据端口与电源端口是分开的，即需要两条线，一条数据线，一条电源线
• SAS：6Gbps，SAS是一整条线，数据端口与电源端口是一体化的，SAS中是包含供电线的，而 SATA中不包含供电线。
• SATA标准其实是SAS标准的一个子集，二者可兼容，SATA硬盘可以插入 SAS主板上，反之不成
• USB：480MB/s
• M.2：

注意：速度不是由单纯的接口类型决定，支持Nvme协议硬盘速度是最快的

服务器硬盘大小

• LFF：3.5寸，一般见到的那种台式机硬盘的大小
• SFF：Small Form Factor 小形状因数，2.5寸，注意不同于2.5寸的笔记本硬盘

         L、S分别是大、小的意思，目前服务器或者盘柜采用sff规格的硬盘主要是考内虑增大单位密度内的磁盘 容量、增强散热、减小功耗

机械硬盘和固态硬盘

机械硬盘（HDD）：Hard Disk Drive，即是传统普通硬盘，主要由：盘片，磁头，盘片转轴及控制电 机，磁头控制器，数据转换器，接口，缓存等几个部分组成。
固态硬盘（SSD）：Solid State Drive，用固态电子存储芯片阵列而制成的硬盘，由控制单元和存储单 元（FLASH芯片、DRAM芯片）组成。

• 相较于HDD，SSD在防震抗摔、传输速率、功耗、重量、噪音上有明显优势，SSD传输速率性能是HDD 的2倍
• 相较于SSD，HDD在价格、容量占有绝对优势
• 硬盘有价，数据无价，目前SSD不能完全取代HHD
• 硬盘存储术语 CHS

 

• head：磁头 磁头数=盘面数
• track：磁道 磁道=柱面数
• sector：扇区，512bytes
• cylinder：柱面  1柱面=512 * sector数/track*head数=512*63*255=7.84M
• CentOS 5 之前版本 Linux 以柱面的整数倍划分分区，CentOS 6之后可以支持以扇区划分分区

磁盘分区  

磁盘分区的目的：

•  优化I/O性能
•  实现磁盘空间配额限制
•  提高修复速度
•  隔离系统和程序
•  安装多个OS
•  采用不同文件系统

分区方式：MBR，GPT

 MBR分区：
 MBR:使用32位表示扇区数，分区不超过2T
 MBR分区中一块硬盘最多有4个主分区，也可以3主分区+1扩展(N个逻辑分区)
 MBR分区：主和扩展分区对应的1--4，/dev/sda3，逻辑分区从5开始，/dev/sda5
 CentOS 5 之前按整柱面划分 CentOS 6 版本后可以按Sector划分

范例: 备份MBR的分区表,并破坏后恢复
#备份MBR分区表

[root@centos7 ~]#dd if=/dev/sda of=/data/dpt.img bs=1 count=64 skip=446

[root@centos7 ~]#scp /data/dpt.img 10.0.0.6:

#破坏MBR分区表

[root@centos7 ~]#dd if=/dev/zero of=/dev/sda bs=1 count=64 seek=446

#无法启动

[root@centos7 ~]#reboot

#用光盘启动,进入rescue mode,选第3项skip to shell

#配置网络

ifconfig ens33 10.0.0.7/24

ip a a 10.0.0.8/24 dev/ens160

#复制备份MBR分区表

scp  10.0.0.6:/root/dpt.img .

#恢复MBR分区表

dd if=dpt.img of=/dev/sda bs=1 seek=446 

exit

GPT分区：
 支持128个分区，使用64位，支持8Z（ 512Byte/block ）64Z （ 4096Byte/block）
 使用128位UUID表示磁盘和分区 GPT分区表自动备份在头和尾两份， 并有CRC校验位
 UEFI 统一可扩展固件接口)硬件支持GPT，使得操作系统可以 启动

管理分区：

列出块设备：lsblk

创建分区命令
fdisk   管理MBR分区
gdisk  管理GPT分区
parted 高级分区操作，可以是交互或非交互方式

重新设置内存中的内核分区表版本，适合于除了CentOS 6 以外的其它版本 5，7，8
partprobe

parted 命令
 注意：parted的操作都是实时生效的，小心使用
命令格式：parted [选项]... [设备 [命令 [参数]...]...]

 范例：

parted /dev/sdb  mklabel gpt|msdos              (创建分区类型为gpt或mbr)

parted /dev/sdb  print                                     (显示分区信息)

parted /dev/sdb  mkpart primary 1 200       （默认M）  (创建主分区)

parted /dev/sdb  rm 1                                    (删除分区)

parted -l                                                        (列出所有硬盘分区信息)

dd if=/dev/zero of=/dev/sdb bs=1 count=66  (将分区表清零)

分区工具fdisk和gdisk

 gdisk              类fdisk 的GPT分区工具
 fdisk -l [-u]      查看分区
 fdisk               管理MBR分区
 子命令：

•  p   分区列表
•  t   更改分区类型
•  n   创建新分区
•  d   删除分区
•  v   校验分区
•  u   转换单位
•  w   保存并退出
•  q   不保存并退出

查看内核是否已经识别新的分区
  cat /proc/partations

Centos6 读取硬盘新增分区命令
 partx -a  /dev/DEVICE           
 kpartx -a /dev/DEVICE -f: force
 范例：

[root@centos6 ~]#partx -a /dev/sda

 

删除分区用
 partx -d --nr M-N /dev/DEVICE

 范例:

[root@centos6 ~]#partx -d --nr 6-8 /dev/sda

文件系统类型

 Linux 常用文件系统

•  ext2：适用于那些分区容量不是太大，更新也不频繁的情况，例如 /boot 分区
•  ext3：是 ext2 的改进版本，其支持日志功能，能够帮助系统从非正常关机导致的异常中恢复
•  ext4：是 ext 文件系统的最新版。提供了很多新的特性，包括纳秒级时间戳、创建和使用巨型文件 (16TB)、最大1EB的文件系统，以及速度的提升
•  xfs：SGI，支持最大8EB的文件系统
•  swap
•  iso9660光盘
•  btrfs（Oracle）
•  reiserfs

常用的文件系统特性
EXT3

•  最多只能支持32TB的文件系统和2TB的文件，实际只能容纳2TB的文件系统和16GB的文件
•  Ext3目前只支持32000个子目录
•  Ext3文件系统使用32位空间记录块数量和 inode数量
•  当数据写入到Ext3文件系统中时，Ext3的数据块分配器每次只能分配一个4KB的块

EXT4：

•  EXT4是Linux系统下的日志文件系统，是EXT3文件系统的后继版本
•  Ext4的文件系统容量达到1EB，而支持单个文件则达到16TB
•  理论上支持无限数量的子目录 Ext4文件系统使用64位空间记录块数量和inode数量
•  Ext4的多块分配器支持一次调用分配多个数据块
•  修复速度更快

XFS

•  根据所记录的日志在很短的时间内迅速恢复磁盘文件内容
•  用优化算法，日志记录对整体文件操作影响非常小
•  是一个全64-bit的文件系统，最大可以支持8EB的文件系统，而支持单个文件则达到8EB
•  能以接近裸设备I/O的性能存储数据

查前支持的文件系统：

cat /proc/filesystems

文件系统的组成部分

•  内核中的模块：ext4, xfs, vfat
•  Linux的虚拟文件系统：VFS
•  用户空间的管理工具：mkfs.ext4, mkfs.xfs,mkfs.vfat

文件系统选择管理
 创建文件管理工具
 mkfs命令：
 (1) mkfs.FS_TYPE /dev/DEVICE  
 ext4  xfs  btrfs  vfat
 (2) mkfs -t FS_TYPE /dev/DEVICE  
 -L 'LABEL' 设定卷标
 mke2fs：ext系列文件系统专用管理工具

常用选项

•  -t {ext2|ext3|ext4|xfs}         指定文件系统类型
•  -b {1024|2048|4096}          指定块 block 大小
•  -L ‘LABEL’                         设置卷标
•  -i                                        为数据空间中每多少个字节创建一个inode；不应该小于block大小
•  -N                                      指定分区中创建多少个inode
•  -I                                        一个inode记录占用的磁盘空间大小，128---4096
•  -m                                      默认5%,为管理人员预留空间占总空间的百分比
•  -O                                      FEATURE[,...]    启用指定特性
•  -O ^FEATURE                   关闭指定特性

查看和管理分区信息
 blkid  可以查看块设备属性信息
 格式：

blkid [OPTION]... [DEVICE]

常用选项：

•  -U UUID 根据指定的UUID来查找对应的设备
•  -L LABEL 根据指定的LABEL来查找对应的设备
•  e2label：管理ext系列文件系统的LABEL
•  e2label DEVICE [LABEL]

findfs ：查找分区
 findfs [options] LABEL=<label> findfs [options] UUID=<uuid>

范例：用UUID查找对应设备

 [root@centos7 ~]$findfs UUID=d03120da-dec2-4f3f-b00b-c535bd65c8b9

/dev/sda1

tune2fs：重新设定ext系列文件系统可调整参数的值

•  -l  查看指定文件系统超级块信息；super block
•  -L 'LABEL’  修改卷标
•  -m #    修预留给管理员的空间百分比
•  -j  将ext2升级为ext3
•  -O  文件系统属性启用或禁用, –O ^has_journal
•  -o  调整文件系统的默认挂载选项，–o ^acl
•  -U UUID 修改UUID号

dumpe2fs：显示ext文件系统信息，将磁盘块分组管理
 -h：查看超级块信息，不显示分组信息

xfs_info：显示示挂载或已挂载的 xfs 文件系统信息
 xfs_info mountpoint|devname

范例： 显示示挂载或已挂载的 xfs 文件系统信息

[root@centos7 ~]$xfs_info /dev/sdb1

meta-data=/dev/sdb1             isize=512      agcount=4, agsize=62500 blks

        =                                    sectsz=512    attr=2, projid32bit=1

        =                                    crc=1             finobt=0 spinodes=0

 data     =                                bsize=4096   blocks=250000, imaxpct=25

         =                                   sunit=0           swidth=0 blks

 naming   =version 2              bsize=4096    ascii-ci=0 ftype=1

 log         =internal                  bsize=4096    blocks=855, version=2

        =                                  sectsz=512    sunit=0 blks, lazy-count=1

 realtime =none                    extsz=4096       blocks=0, rtextents=0

文件系统检测和修复

 文件系统夹故障常发生于死机或者非正常关机之后，挂载为文件系统标记为“no clean”
 注意：一定不要在挂载状态下执行下面命令修复
 fsck: File System Check
 fsck.FS_TYPE
 fsck -t FS_TYPE
注意：FS_TYPE 一定要与分区上已经文件类型相同
 

常用选项：

•   -a  自动修复
•   -r  交互式修复错误

e2fsck：ext系列文件专用的检测修复工具

•  -y  自动回答为yes  
•  -f  强制修复
•  -p  自动进行安全的修复文件系统问题

xfs_repair：xfs文件系统专用检测修复工具

•  -f  修复文件，而设备
•  -n  只检查
•  -d  允许修复只读的挂载设备，在单用户下修复 / 时使用，然后立即reboot

 

挂载

 挂载:将额外文件系统与根文件系统某现存的目录建立起关联关系，进而使得此目录做为其它文件访问入口的行为
 卸载:为解除此关联关系的过程
 把设备关联挂载点：mount Point
 挂载点下原有文件在挂载完成后会被临时隐藏，因此，挂载点目录一般为空
 进程正在使用中的设备无法被卸载

挂载文件系统mount
 格式：

mount [-fnrsvw] [-t vfstype] [-o options] device mountpoint

 device：指明要挂载的设备

•  设备文件：例如:/dev/sda5
•  卷标：-L 'LABEL', 例如 -L 'MYDATA'
•  UUID： -U 'UUID'：例如 -U '0c50523c-43f1-45e7-85c0-a126711d406e'
•  伪文件系统名称：proc, sysfs, devtmpfs, configfs
•  mountpoint：挂载点目录必须事先存在，建议使用空目录

mount常用命令选项

•  -t vsftype                   指定要挂载的设备上的文件系统类型
•  -r                               readonly，只读挂载
•  -w                              read and write, 读写挂载
•  -n                              不更新/etc/mtab，mount不可见
•  -a                              自动挂载所有支持自动挂载的设备(定义在了/etc/fstab文件中，且挂载选项中有 auto功能)
•  -L 'LABEL'                以卷标指定挂载设备
•  -U 'UUID'                  以UUID指定要挂载的设备
•  -B, --bind                 绑定目录到另一个目录上
• -o options：             (挂载文件系统的选项)，多个选项使用逗号分隔    
• async                       异步模式,内存更改时,写入缓存区buffer,过一段时间再写到磁盘中，效率高，但不安全    
• sync                         同步模式,内存更改时，同时写磁盘，安全，但效率低下    
• atime/noatime          包含目录和文件    (繁忙的网站 建议关闭noatime 可以减少磁盘io 优化性能)
• diratime/nodiratime  目录的访问时间戳    
• auto/noauto             是否支持开机自动挂载，是否支持-a选项    
• exec/noexec            是否支持将文件系统上运行应用程序    d
• ev/nodev                  是否支持在此文件系统上使用设备文件    
• suid/nosuid              是否支持suid和sgid权限    
• remount                   重新挂载    
• ro/rw                        只读、读写       
• user/nouser             是否允许普通用户挂载此设备，/etc/fstab使用    
• acl/noacl                  启用此文件系统上的acl功能    
• loop                         使用loop设备    
• _netdev                   当网络可用时才对网络资源进行挂载，如：NFS文件系统    
• defaults                   相当于rw, suid, dev, exec, auto, nouser, async

 
挂载规则:

•  一个挂载点同一时间只能挂载一个设备
•  一个挂载点同一时间挂载了多个设备，只能看到最后一个设备的数据，其它设备上的数据将被隐藏
•  一个设备可以同时挂载到多个挂载点
•  通常挂载点一般是已存在空的目录

卸载文件系统 
 umount  设备名|挂载点

查看挂载
 通过查看/etc/mtab文件显示当前已挂载的所有设备
mount
 查看内核追踪到的已挂载的所有设备
cat /proc/mounts

查看是否为挂载点
findmnt   MOUNT_POINT|device
 范例：

 [root@centos8 ~]# findmnt /opt/

 [root@centos8 ~]# echo $?

 1

 [root@centos8 ~]# findmnt /mnt/

 TARGET SOURCE     FSTYPE OPTIONS

/mnt   /dev/loop0 ext4   rw,relatime

 [root@centos8 ~]# echo $?

 0

查看正在访问指定文件系统的进程
 lsof MOUNT_POINT
 fuser -v MOUNT_POINT

终止所有在正访问指定的文件系统的进程
 fuser -km MOUNT_POINT、

持久挂载
 将挂载保存到 /etc/fstab 中可以下次开机时，自动启用挂载

 范例：/etc/fstab格式

 [root@centos7 ~]$cat /etc/fstab

 

 #

 # /etc/fstab

 # Created by anaconda on Thu Apr  9 11:24:31 2020

 #

 # Accessible filesystems, by reference, are maintained under '/dev/disk'

 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info

 #

 UUID=3a33a80f-21b6-4ac4-a0e4-2b87126538f7 /                         xfs     defaults        0 0

 UUID=d03120da-dec2-4f3f-b00b-c535bd65c8b9 /boot                   xfs     defaults        0 0

 UUID=f25cc05e-7e94-4c5b-8741-6c0303a19ea4 /data                  xfs     defaults        0 0

 UUID=dfa64139-983e-4579-816b-451c08693ef7 swap                  swap    defaults        0 0

 每行定义一个要挂载的文件系统,，其中包括共 6  项

•  要挂载的设备或伪文件系统
•  设备文件：   LABEL：LABEL=""   UUID：UUID=""   伪文件系统名称：proc, sysfs
•  挂载点：必须是事先存在的目录
•  文件系统类型：ext4，xfs，iso9660，nfs，none
•  挂载选项：defaults ，acl，bind
•  转储频率：0：不做备份 1：每天转储 2：每隔一天转储
•  fsck检查的文件系统的顺序：允许的数字是0 1 2
•  0：不自检 ，1：首先自检；一般只有rootfs才用  2：非rootfs使用

 添加新的挂载项，需要执行下面命令生效
 mount  -a

centos7, 8 /etc/fstab 的分区UUID错误，无法启动
 范例：

 

自动进入emergency mode,输入root 密码

cat /proc/mounts 可以查看到/ 以rw方式挂载

 vim /etc/fstab

 reboot

 

范例：centos 6 /etc/fstab 的分区UUID错误，无法启动

 

如果/etc/fstab 的挂载设备出错，比如文件系统故障，并且文件系统检测项（即第6项为非0），将导致无 法启动

自动进入emergency mode,输入root 密码

cat /proc/mounts 可以查看到/ 以ro方式挂载，无法直接修改配置文件

mount -o remount,rw  / #vim /etc/fstab

将故障行的后1项，即第6项修改为0，开机不检测此项挂载设备的健康性，从而忽略错误，能实现启动

处理交换文件和分区

 swap 交换分区定义：

•  swap交换分区是系统RAM的补充，swap分区支持虚拟内存。
•  当没有足够的RAM保存系统处理的数据 时会将数据写入swap分区当系统缺乏swap空间时，内核会因RAM 内存耗尽而终止进程。
•  配置过多swap空间会造成存储设备处于分配状态但闲置，造成浪费，过多swap空间还会掩盖内存泄露

注意：为优化性能，可以将swap 分布存放，或高性能磁盘存放

官方推荐推荐系统 swap 空间

系统中的RAM 量      推荐的 swap 空间        允许休眠的建议 swap 空间大小

低于 2 GB                 RAM 量的2倍数              RAM 容量的三倍

2 GB - 8 GB             等于 RAM 量                   RAM 量的倍数

8 GB - 64 GB           4 GB 到 RAM                 容量的 0.5 倍 RAM 容量的 1.5 倍

超过 64 GB            独立负载（至少 4GB）    不建议使用休眠功能

swap分区实现过程

1.  创建交换分区或者文件
2. 使用mkswap写入特殊签名
3. 在/etc/fstab文件中添加适当的条目
4. 使用swapon -a 激活交换空间

启用swap分区
 swapon [OPTION]... [DEVICE]
 选项：

•  -a：激活所有的交换分区
•  -p PRIORITY：指定优先级，也可在/etc/fstab  在第4列指定：pri=value

 范例:创建swap

[root@centos8 ~]#echo -e 'n\np\n\n\n+1G\nt\n82\nw\n' | fdisk /dev/sdb 分区

 

 [10:37:44 root@centos8 ~]#mkswap /dev/sdb1

 Setting up swapspace version 1, size = 1024 MiB (1073737728 bytes)

no label, UUID=159a1d47-ed58-4493-9d1b-17edd7eee635

 

[root@centos8 ~]#blkid  /dev/sdb1

 /dev/sdb1: UUID="159a1d47-ed58-4493-9d1b-17edd7eee635" TYPE="swap" PARTUUID="9fa83613-01"

[root@centos8 ~]#vim /etc/fstab UUID=159a1d47-ed58-4493-9d1b-17edd7eee635 swap          swap defaults 0 0

 

 [10:40:14 root@centos8 ~]#free -h

     total        used        free        shared    buff/cache  available

Mem:          957Mi       200Mi    519Mi       6.0Mi         236Mi       607Mi

 Swap:         2.0Gi          0B       2.0Gi

 

 [10:40:32 root@centos8 ~]#swapon -a

 

 [10:40:51 root@centos8 ~]#free -h

     total        used        free        shared   buff/cache   available

 Mem:          957Mi       248Mi    471Mi       6.0Mi       237Mi       559Mi

 Swap:         3.0Gi          0B       3.0Gi

 

 [10:40:53 root@centos8 ~]#swapon -s

Filename                Type        Size    Used    Priority

 /dev/sda3                                  partition    2097148    0    -2

 /dev/sdb1                                  partition    1048572    0    -3

禁用swap分区：swapoff [OPTION]... [DEVICE]
SWAP的优先级：可以指定swap分区0到32767的优先级，值越大优先级越高

swap的使用策略
/proc/sys/vm/swappiness 的值决定了当内存占用达到一定的百分比时，会启用swap分区的空间

范例

[root@centos8 ~]# cat /proc/sys/vm/swappiness

30

[root@centos6 ~]#  cat /proc/sys/vm/swappiness

60

说明：内存在使用到100-30=70%的时候，就开始出现有交换分区的使用。
简单地说这个参数定义了系 统对swap的使用倾向，默认值为30，值越大表示越倾向于使用swap。
可以设为0，这样做并不会禁止 对swap的使用，只是最大限度地降低了使用swap的可能性

移动介质
 挂载意味着使外来的文件系统看起来如同是主目录树的一部分，所有移动介质也需要挂载，挂载点通常 在/media 或/mnt下
 访问前，介质必须被挂载
 摘除时，介质必须被卸载
 按照默认设置，非根用户只能挂载某些设备（光盘、DVD、软盘、USB等等）
 

使用光盘
 在图形环境下自动启动挂载/run/media//
 手工挂载：mount /dev/cdrom  /mnt/
 操作光盘
  eject 弹出光盘
  eject -t 弹入光盘
 创建ISO文件
  cp /dev/cdrom  /root/centos.iso
  mkisofs  -r  -o  /root/etc.iso /etc  #来自于genisoimage包
 刻录光盘
  wodim –v –eject centos.iso

USB介质

 查看USB设备是否识别
 被内核探测为SCSI设备
 /dev/sdaX、/dev/sdbX或类似的设备文件
 在图形环境中自动挂载在/run/media//
手动挂载
  mount /dev/sdX# /mnt

 范例：格式化U盘为FAT32文件系统

 [root@centos8 ~]#dnf -y install dosfstools

 [root@centos8 ~]#mkfs.vfat  /dev/sdd1

 mkfs.fat 4.1

 [root@centos8 ~]#mount /dev/sdd1 /mnt

 

插入U盘后可以看到日志信息的命令
 tail /var/log/messages  -f
 dmesg

 范例：查看USB设备

 [15:05:25 root@centos8 ~]#lsusb

 Bus 001 Device 002: ID 058f:6387 Alcor Micro Corp. Flash Drive

 Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub

 Bus 002 Device 003: ID 0e0f:0002 VMware, Inc. Virtual USB Hub

 Bus 002 Device 002: ID 0e0f:0003 VMware, Inc. Virtual Mouse

 Bus 002 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub