Linux中的LVM和软RAID

在实际工作中，会经常碰到所给的服务器硬盘容量太小，而实际的应用软件中却需要一个容量较大的分区进行数据存储等，除了通过硬件RAID卡来实现合并多硬盘外，其实我们也可以通过软件的方式来实现。

实验环境

虚拟机：CentOS 6.6 x64
硬盘1：/dev/sdb
硬盘2：/dev/sdc
硬盘3：/dev/sdd

详细硬盘列表信息如下所示：
01硬盘列表.jpg

使用LVM合并硬盘

使用LVM(Logical Volume Manager)目的如下所示：

将多块独立的硬盘合并为逻辑上的一块，并挂载到指定的挂载点中，达到在一个目录中使用多块硬盘所有空间的效果

LVM相关概念

PV（Physical Volume）：物理卷

硬盘分区后但还未格式化为文件系统，可使用pvcreate命令将分区创建为PV，其对应的system ID为8e即LVM格式所对应的系统标识符。

VG（Volume Group）:卷组

将多个PV组合起来，使用vgcreate创建卷组，这样卷组就可以包含多个PV，相当于重新组合多个分区后所得到的磁盘。虽然VG是组合了多个PV，但创建VG时会将VG所有的空间根据指定的PE大小划分为多个PE，在LVM模式中存储都是以PE为单元，类似于文件系统中的BLOCK。

PE（Physical Extent）：物理块

PE是VG的存储单元，实际的数据都是存储在PE中

LV（Logical Volume）：逻辑卷

VG相当于组合的多个硬盘，则LV相当于分区，只不过该分区是通过VG进行划分的。VG中存在很多PE，可以指定将多少个PE划分给一个LV，也可以直接指定大小来划分。划分为LV后就相当于划分了分区，仅需要对LV进行格式化文件系统即可。

LE（Logical Extent）:逻辑块

PE是物理存储单元，而LE则是逻辑存储单元，即LE为LV中的逻辑存储单元，与PE大小一致。从VG中划分LV，实际上就是从VG中划分PE，而划分LV后称之为LE，而不是PE了。

LVM之所以能够伸缩容量，其实现方法就是将LV中的PE进行删除或增加

LVM的存储机制

LV是从VG中划分出来的，因此LV中的PE可能来自于多个PV。因此向LV存储数据时，主要有两种机制：

线性模式（Linear）：先将数据存储在属于同一个PV的PE，然后再向下一个PV中的PE
条带模式（Striped）:将一份数据拆分为多份，分别写入该LV对应的每个PV中，类似于RAID 0，因此读写性能会优于线性模式。

尽管条带模式读写性能会比较好，但LVM的重点是扩展容量而非性能，如果要实现读写性能还是推荐采用RAID方式实现。

LVM示意图

创建LVM操作步骤

1、创建PV（Physical Volume）

[root@Wine ~]# pvcreate /dev/sdb /dev/sdc /dev/sdd
  Physical volume "/dev/sdb" successfully created
  Physical volume "/dev/sdc" successfully created
  Physical volume "/dev/sdd" successfully created

2、查看创建的PV列表

[root@Wine ~]# pvs # 查看列表
  PV         VG   Fmt  Attr PSize  PFree
  /dev/sdb        lvm2 ---  40.00g 40.00g
  /dev/sdc        lvm2 ---  50.00g 50.00g
  /dev/sdd        lvm2 ---  30.00g 30.00g
或
[root@Wine ~]# pvscan
  PV /dev/sdb         lvm2 [40.00 GiB]
  PV /dev/sdc         lvm2 [50.00 GiB]
  PV /dev/sdd         lvm2 [30.00 GiB]
  Total: 3 [120.00 GiB] / in use: 0 [0   ] / in no VG: 3 [120.00 GiB]
[root@Wine ~]# pvdisplay # 查看PV详细信息
  "/dev/sdb" is a new physical volume of "40.00 GiB"
  --- NEW Physical volume ---
  PV Name               /dev/sdb
  VG Name               
  PV Size               40.00 GiB
  Allocatable           NO
  PE Size               0   
  Total PE              0
  Free PE               0
  Allocated PE          0
  PV UUID               9vAxyC-FsAc-S2HA-aCze-MZe5-em24-7th27s
  "/dev/sdc" is a new physical volume of "50.00 GiB"
  --- NEW Physical volume ---
  PV Name               /dev/sdc
  VG Name               
  PV Size               50.00 GiB
  Allocatable           NO
  PE Size               0   
  Total PE              0
  Free PE               0
  Allocated PE          0
  PV UUID               HdbCuK-hFkP-QQbr-Naaa-PNzz-WFNw-78uXs3
  "/dev/sdd" is a new physical volume of "30.00 GiB"
  --- NEW Physical volume ---
  PV Name               /dev/sdd
  VG Name               
  PV Size               30.00 GiB
  Allocatable           NO
  PE Size               0   
  Total PE              0
  Free PE               0
  Allocated PE          0
  PV UUID               EpPdAf-ku4b-zIMm-V2Np-gnuC-59nj-L0Zd9G

3、创建VG（Volume Group）
创建的VG的使用方法如下

vgcreate [自定义LVM名称] [设备]

[root@Wine ~]# vgcreate TestLVM /dev/sdb # 创建主要卷组
  Volume group "TestLVM" successfully created
[root@Wine ~]# vgdisplay # 显示卷组详细信息
  --- Volume group ---
  VG Name               TestLVM
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  1
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                0
  Open LV               0
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               40.00 GiB
  PE Size               4.00 MiB
  Total PE              10239
  Alloc PE / Size       0 / 0   
  Free  PE / Size       10239 / 40.00 GiB
  VG UUID               s0gVkf-FScU-7x9v-HIx3-cinR-Sc60-IHgKmn

4、向VG中添加PV（Volume Group）
向VG中添加PV的使用方法如下

vgextend [自定义LVM名称] [设备]

[root@Wine ~]# vgextend TestLVM /dev/sdc /dev/sdd # 创建扩展卷组，并使其合并到一个卷组中
  Volume group "TestLVM" successfully extended # 查看扩展卷组
[root@Wine ~]# vgdisplay
  --- Volume group ---
  VG Name               TestLVM
  System ID             
  Format                lvm2
  Metadata Areas        3
  Metadata Sequence No  2
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                0
  Open LV               0
  Max PV                0
  Cur PV                3
  Act PV                3
  VG Size               119.99 GiB # 注意这里与前面的区别
  PE Size               4.00 MiB
  Total PE              30717
  Alloc PE / Size       0 / 0   
  Free  PE / Size       30717 / 119.99 GiB
  VG UUID               s0gVkf-FScU-7x9v-HIx3-cinR-Sc60-IHgKmn

5、创建LV（Logical Volume）

创建的LV的使用方法如下

lvcreate -L[自定义分区大小] -n[自定义分区名称] [VG名称]
或
lvcreate -l[%{ VG | FREE | ORIGIN }] -n[自定义分区名称] [VG名称]

[root@Wine ~]# lvcreate -l 100%VG -nTestData TestLVM # 创建LV
  Logical volume "TestData" created
[root@Wine ~]# lvscan # 查看创建的LV列表
  ACTIVE            '/dev/TestLVM/TestData' [119.99 GiB] inherit
[root@Wine ~]# lvdisplay # 查看创建的LV详细信息
  --- Logical volume ---
  LV Path                /dev/TestLVM/TestData
  LV Name                TestData
  VG Name                TestLVM
  LV UUID                2zvNe9-dtlv-pcWc-oTnJ-6INz-e2dI-vRQ7Vq
  LV Write Access        read/write
  LV Creation host, time Wine, 2018-11-14 11:01:56 +0800
  LV Status              available
  # open                 0
  LV Size                119.99 GiB
  Current LE             30717
  Segments               3
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:0

6、格式化分区

[root@Wine ~]# mkfs -t ext4 /dev/TestLVM/TestData # 格式化分区
mke2fs 1.41.12 (17-May-2010)
文件系统标签=
操作系统:Linux
块大小=4096 (log=2)
分块大小=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
7864320 inodes, 31454208 blocks
1572710 blocks (5.00%) reserved for the super user
第一个数据块=0
Maximum filesystem blocks=4294967296
960 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks: 
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
        4096000, 7962624, 11239424, 20480000, 23887872

正在写入inode表: 完成                            
Creating journal (32768 blocks): 完成
Writing superblocks and filesystem accounting information: 完成

This filesystem will be automatically checked every 29 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.

7、创建挂载点并进行挂载

[root@Wine ~]# mkdir /LVM
[root@Wine ~]# mount /dev/TestLVM/TestData /LVM/
[root@Wine ~]# df -Th
Filesystem           Type   Size  Used Avail Use% Mounted on
/dev/sda2            ext4    79G  9.6G   65G  13% /
tmpfs                tmpfs  7.8G   72K  7.8G   1% /dev/shm
/dev/sda1            ext4   190M   32M  149M  18% /boot
/dev/mapper/TestLVM-TestData  ext4   118G   60M  112G   1% /LVM # 创建的LVM挂载点

8、添加开机自动挂载

[root@Wine ~]# echo '/dev/TestLVM/TestData  /LVM ext4 defaults 0 0 ' >> /etc/fstab

删除LVM操作步骤

1、在备份LVM数据后，先卸载挂载点并删除/etc/fstab中的挂载记录

[root@Wine ~]# umount /LVM/;df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        79G  9.6G   65G  13% /
tmpfs           7.8G   72K  7.8G   1% /dev/shm
/dev/sda1       190M   32M  149M  18% /boot

2、删除LV

[root@Wine ~]# lvremove /dev/TestLVM/TestData
Do you really want to remove active logical volume TestData? [y/n]: y
  Logical volume "TestData" successfully removed

3、删除VG

[root@Wine ~]# vgremove TestLVM
  Volume group "TestLVM" successfully removed

4、删除PV

[root@Wine ~]# pvremove /dev/sdb /dev/sdc /dev/sdd
  Labels on physical volume "/dev/sdb" successfully wiped
  Labels on physical volume "/dev/sdc" successfully wiped
  Labels on physical volume "/dev/sdd" successfully wiped

使用软RAID

创建软RAID

RAID通过分为两种：

硬件RAID:通过RAID卡连接多个硬盘或服务器主板集成RAID控制器从而实现RAID相关功能
软件RAID：通过软件层面来模拟实现RAID的相关功能，从而达到与硬件RAID相同的功能

在Linux中通常是使用md模块来实现软件RAID

1、确认操作系统是否安装mdadm包

[root@Wine ~]# rpm -q mdadm
mdadm-3.3-6.el6.x86_64

2、对进行需要创建软件的硬盘进行分区并设置分区类型为RAID

[root@Wine ~]# lsblk # 显示硬盘和分区信息
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0     11:0    1 1024M  0 rom  
sdb      8:16   0   40G  0 disk 
sdd      8:48   0   30G  0 disk 
sdc      8:32   0   50G  0 disk 
sda      8:0    0   80G  0 disk 
├─sda1   8:1    0  200M  0 part /boot
└─sda2   8:2    0 79.8G  0 part /
# 创建分区
[root@Wine ~]# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0x7bfec905.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
         switch off the mode (command 'c') and change display units to
         sectors (command 'u').

Command (m for help): n # 添加新分区
Command action
   e   extended
   p   primary partition (1-4)
p # 选择分区类型
Partition number (1-4): 1 # 设置分区号
First cylinder (1-5221, default 1): 
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-5221, default 5221): 
Using default value 5221

Command (m for help): l # 打印支持的分区格式类型

 0  Empty           24  NEC DOS         81  Minix / old Lin bf  Solaris        
 1  FAT12           39  Plan 9          82  Linux swap / So c1  DRDOS/sec (FAT-
 2  XENIX root      3c  PartitionMagic  83  Linux           c4  DRDOS/sec (FAT-
 3  XENIX usr       40  Venix 80286     84  OS/2 hidden C:  c6  DRDOS/sec (FAT-
 4  FAT16 <32M      41  PPC PReP Boot   85  Linux extended  c7  Syrinx         
 5  Extended        42  SFS             86  NTFS volume set da  Non-FS data    
 6  FAT16           4d  QNX4.x          87  NTFS volume set db  CP/M / CTOS / .
 7  HPFS/NTFS       4e  QNX4.x 2nd part 88  Linux plaintext de  Dell Utility   
 8  AIX             4f  QNX4.x 3rd part 8e  Linux LVM       df  BootIt         
 9  AIX bootable    50  OnTrack DM      93  Amoeba          e1  DOS access     
 a  OS/2 Boot Manag 51  OnTrack DM6 Aux 94  Amoeba BBT      e3  DOS R/O        
 b  W95 FAT32       52  CP/M            9f  BSD/OS          e4  SpeedStor      
 c  W95 FAT32 (LBA) 53  OnTrack DM6 Aux a0  IBM Thinkpad hi eb  BeOS fs        
 e  W95 FAT16 (LBA) 54  OnTrackDM6      a5  FreeBSD         ee  GPT            
 f  W95 Ext'd (LBA) 55  EZ-Drive        a6  OpenBSD         ef  EFI (FAT-12/16/
10  OPUS            56  Golden Bow      a7  NeXTSTEP        f0  Linux/PA-RISC b
11  Hidden FAT12    5c  Priam Edisk     a8  Darwin UFS      f1  SpeedStor      
12  Compaq diagnost 61  SpeedStor       a9  NetBSD          f4  SpeedStor      
14  Hidden FAT16 <3 63  GNU HURD or Sys ab  Darwin boot     f2  DOS secondary  
16  Hidden FAT16    64  Novell Netware  af  HFS / HFS+      fb  VMware VMFS    
17  Hidden HPFS/NTF 65  Novell Netware  b7  BSDI fs         fc  VMware VMKCORE 
18  AST SmartSleep  70  DiskSecure Mult b8  BSDI swap       fd  Linux raid auto
1b  Hidden W95 FAT3 75  PC/IX           bb  Boot Wizard hid fe  LANstep        
1c  Hidden W95 FAT3 80  Old Minix       be  Solaris boot    ff  BBT            
1e  Hidden W95 FAT1

Command (m for help): t # 更改分区类型
Selected partition 1
Hex code (type L to list codes): fd # 设置分区类型为RAID
Changed system type of partition 1 to fd (Linux raid autodetect)

Command (m for help): p # 打印信息

Disk /dev/sdb: 42.9 GB, 42949672960 bytes
255 heads, 63 sectors/track, 5221 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x7bfec905

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1        5221    41937651   fd  Linux raid autodetect

Command (m for help): w # 保存分区信息
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

fdisk命令只适合小于2T的硬盘，如大于2T则需要使用parted。

使用parted命令创建RAID的如下所示：

[root@Wine ~]# parted /dev/sdc
GNU Parted 2.1
使用 /dev/sdc
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel gpt                                                   
警告: The existing disk label on /dev/sdc will be destroyed and all data on this disk will be lost. Do you want to continue?
是/Yes/否/No? y
(parted) mkpart primary 1 -1
(parted) set 1 raid   # 关键步骤在这里
新状态？  [开]/on/关/off? on
(parted) print
Model: VMware, VMware Virtual S (scsi)
Disk /dev/sdc: 53.7GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt

Number  Start   End     Size    File system  Name     标志
 1      1049kB  53.7GB  53.7GB               primary  raid

3、使用mdadm创建RAID

[root@Wine ~]# mdadm --create /dev/md0 --auto yes --level 0 -n3 /dev/sd{b,c,d}1 
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.
[root@Wine ~]# lsblk
NAME    MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINT
sr0      11:0    1  1024M  0 rom   
sdb       8:16   0    40G  0 disk  
└─sdb1    8:17   0    40G  0 part  
  └─md0   9:0    0 119.9G  0 raid0 
sdd       8:48   0    30G  0 disk  
└─sdd1    8:49   0    30G  0 part  
  └─md0   9:0    0 119.9G  0 raid0 
sdc       8:32   0    50G  0 disk  
└─sdc1    8:33   0    50G  0 part  
  └─md0   9:0    0 119.9G  0 raid0 
sda       8:0    0    80G  0 disk  
├─sda1    8:1    0   200M  0 part  /boot
└─sda2    8:2    0  79.8G  0 part  /

该命令中各参数说明：

-C/--create:新建阵列
-a/--auto:允许mdadm创建设备文件，一般常用参数-a yes一次性创建
-l/--levle:RAID模式，支持RAID0/1/4/5/6/10等
-n/--raid-devices=:创建阵列中活动磁盘的数量
/dev/md0:阵列的设备名称
/dev/sd{b,c,d}1：创建阵列中的物理磁盘分区信息

更多mdadm帮助，可使用mdadm -h 或 man mdadm

创建完成后，查看阵列状态：

[root@Wine ~]# cat /proc/mdstat 
Personalities : [raid0] 
md0 : active raid0 sdd1[2] sdc1[1] sdb1[0]
      125722624 blocks super 1.2 512k chunks      
unused devices: <none>
或使用
[root@Wine ~]# mdadm -D /dev/md0 # 查看软件RAID信息
/dev/md0:
        Version : 1.2
  Creation Time : Wed Nov 14 14:36:11 2018
     Raid Level : raid0
     Array Size : 125722624 (119.90 GiB 128.74 GB)
   Raid Devices : 3
  Total Devices : 3
    Persistence : Superblock is persistent

    Update Time : Wed Nov 14 14:36:11 2018
          State : clean 
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0

     Chunk Size : 512K

           Name : Wine:0  (local to host Wine)
           UUID : 2c8da2fd:7729efbd:5e414dd0:9cfb9f5f
         Events : 0

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1

4、创建md0配置文件

[root@Wine ~]# echo DEVICE /dev/sd{b,c,d}1 >> /etc/mdadm.conf
[root@Wine ~]# mdadm -Evs >> /etc/mdadm.conf 
[root@Wine ~]# cat /etc/mdadm.conf 
DEVICE /dev/sdb1 /dev/sdc1 /dev/sdd1
ARRAY /dev/md/0  level=raid0 metadata=1.2 num-devices=3 UUID=2c8da2fd:7729efbd:5e414dd0:9cfb9f5f name=Wine:0
   devices=/dev/sdb1,/dev/sdc1,/dev/sdd1

5、格式化RAID分区

[root@Wine ~]# mkfs -t ext4 /dev/md0
mke2fs 1.41.12 (17-May-2010)
文件系统标签=
操作系统:Linux
块大小=4096 (log=2)
分块大小=4096 (log=2)
Stride=128 blocks, Stripe width=384 blocks
7864320 inodes, 31430656 blocks
1571532 blocks (5.00%) reserved for the super user
第一个数据块=0
Maximum filesystem blocks=4294967296
960 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks: 
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
        4096000, 7962624, 11239424, 20480000, 23887872

正在写入inode表: 完成                            
Creating journal (32768 blocks): 完成
Writing superblocks and filesystem accounting information: 完成

This filesystem will be automatically checked every 32 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.

6、添加开机自动挂载

[root@Wine ~]# blkid | grep /dev/md # 这里推荐使用UUID进行挂载
/dev/md0: UUID="40829115-a1c5-4d5a-af4a-07225a4619fc" TYPE="ext4"
[root@Wine ~]# echo "UUID=40829115-a1c5-4d5a-af4a-07225a4619fc /SoftRAID ext4 defaults 0 0" >> /etc/fstab# 添加挂载信息到/etc/fstab中
[root@Wine ~]# mount -a;df -h # 查看系统挂载信息
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        79G  9.6G   65G  13% /
tmpfs           7.8G   72K  7.8G   1% /dev/shm
/dev/sda1       190M   32M  149M  18% /boot
/dev/md0      118G   60M  112G   1% /SoftRAID

删除软RAID

1、卸载挂载点

[root@Wine ~]# umount /dev/md0

2、停止软件RAID设备

[root@Wine ~]# mdadm -S /dev/md0
mdadm: stopped /dev/md0

3、删除RAID中的磁盘

[root@Wine ~]# mdadm --misc --zero-superblock /dev/sd{b,c,d}1

4、删除mdadm配置文件

[root@Wine ~]# rm -f /etc/mdadm.conf

5、删除/etc/fstab中的挂载信息

以上即是在Linux常见的两种将多个硬盘合并容量的方法，仅作为参考。在现实环境中还是推荐使用硬件RAID，数据无价。

本文同步在微信订阅号上发布，如各位小伙伴们喜欢我的文章，也可以关注我的微信订阅号：woaitest，或扫描下面的二维码添加关注：

posted @ 2018-11-14 19:42 Surpassme 阅读(2791) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

Surpassme

不去努力就不会知道自己有多么优秀！