服务器虚拟化 - PVE

Virtual Machine - 虚拟机

虚拟机(Virtual Machine)指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。

在很多场景下,我们都会需要用到虚拟机:

  1. 测试、尝鲜新系统。
  2. 完全隔离的沙箱环境,用于运行某些不安全的或者敏感的文件/程序。
  3. 云服务商或企业会通过服务器虚拟化,提升服务器的利用率。
  4. 虚拟机可以创建快照,系统环境可以随时还原到已有的快照,也能方便地拷贝给他人。(有点类似 docker 镜像,但是没有标准化的 dockerfile 定义文件)

桌面虚拟化软件

桌面虚拟化软件,就是提供 UI 界面的,使用很方便的虚拟化软件。通常直接安装在个人的桌面 PC 上。

  1. VMware Workstation: 闭源收费软件,但是网上许可证一大堆。
  2. VirtualBox: 免费开源,但是 UI 没 VMware 好看。
  3. QEMU/KVM: 用 qemu/kvm+virt-manager 做桌面虚拟化,性能是最好的,但是有一定门槛,适合专业人员。
    • 它没有做到像 vmware/virtualbox 那样简单易懂,有一定学习门槛。
    • 深入使用,需要熟悉 libvirtd 的命令行和 xml.

服务器虚拟化 - Hypervisor

服务器虚拟化软件,也叫 Hypervisor——虚拟机管理程序,有时也称做 Virtual Machine Monitor(VMM),它可以在宿主机上创建并管理多个虚拟机。
目前比较流行的 Hypervisor 有:

  1. vShpere Hypervisor: 也就是 ESXi,这是一个闭源收费的服务器虚拟化系统。基于 Linux,可直接安装在物理机上。

    1. 优点是简单方便,但是收费。适合中小企业,或者个人搭着玩。
    2. 成熟稳定,用户众多。但是各大云服务提供商全都用 KVM 做了自己的虚拟化平台,因为免费且自主可控。
    3. ESXi 搭配 vCenter 可以中心化地管理 ESXi 集群,搭配 terraform/python sdk 可以实现虚拟机的自动化创建等功能。
  2. ProxmoxVE: 一个开源免费的服务器虚拟化系统,基于 Debian + QEMU/KVM + LXC.

    1. PVE 开源免费,而 VMware 的全套技术都是闭源收费的
    2. PVE 底层是 QEMU/KVM,存储方案也是 Ceph/iSCSI/NFS/LVM 这些都是使用很广泛的开源技术,对提升个人及公司的技术能力有很大帮助。
    3. PVE 支持 cloudinit,这是一个虚拟机的预配置工具,可以用于预配置网络、磁盘扩容、设置 hostname 等,非常方便!
    4. 文档齐全,而且很接地气,还包含许多 QEMU/KVM/CEPH/Cloudinit 等开源技术的内容。 反观 VMware 的文档,真的是写得烂得一批,不知所云,随便找篇博客都要比官方文档好理解得多。
    5. 提供一套方便的 CLI 工具,以及 RESTful API。不论是 CLI 还是 HTTP API/Python SDK 都比 vmware 先进很多。VMware 的 python sdk 真的是超级难用,印象深刻。
    6. 缺点在于,PVE 的 WebUI 功能不全,有些功能必须通过命令行才能实现。(这和路由器类似,高级功能只有 CLI 支持)
  3. KVM+OpenStack: 难度较高(openstack 我还没用过)。适合进阶用户,或者大厂自己 DIY。

所以废话不多说,接下来进入 PVE 实操。

安装 PVE

安装过程没啥好说的,安装好后,需要按下面这篇文章配置国内镜像源,启用 root 账户 ssh 登录:

# 设置 debian 的阿里镜像源
cp /etc/apt/sources.list /etc/apt/sources.list.bak
sed -i "s@\(deb\|security\).debian.org@mirrors.aliyun.com@g" /etc/apt/sources.list

# 去除烦人的订阅提示
sed -i "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js

# 设置 pve 国内镜像源
# https://mirrors.bfsu.edu.cn/help/proxmox/
echo 'deb https://mirrors.bfsu.edu.cn/proxmox/debian buster pve-no-subscription' > /etc/apt/sources.list.d/pve-no-subscription.list

使用 Cloud-Init 自动配置网卡、SSH密钥、存储大小配置

完全参照官方文档 Cloud-Init_Support - PVE Docs

首先下载 Cloud 版本的系统镜像:

  1. CentOS Cloud 版本: 提供 qcow2 格式的镜像
  2. Debian Cloud Images: 也提供 qcow2 格式的镜像
  3. Ubuntu Cloud Images (RELEASED): 提供 img 格式的裸镜像(PVE 也支持此格式)
    • 注意:需要下载带有 kvm 字样的镜像!
  4. OpenSUSE Cloud Images
    • 注意:请下载带有 openstack 和 x86_64 字样的镜像

上述镜像和我们普通虚拟机使用的 ISO 镜像的区别,一是镜像格式不同,二是都自带了 cloud-init/qemu-guest-agent/cloud-utils-growpart 等 cloud 相关软件。

上述三个 cloud 镜像的默认名称和系统名称完全一致,分别为 centos/debian/ubuntu
均没有默认密码,并且禁用了 SSH 密码登录,必须通过 cloud-init 设置私钥方式进行远程登录。

建议在 cloud-init 配置中自行设置账号与私钥,不要使用默认的账号名。
比如测试环境,可以直接设置账号为 root,并设置相应的私钥。

接下来我们需要将得到的 qcow2 镜像导入 PVE,并用它创建一个虚拟机模板。

首先创建虚拟机,并以导入的磁盘为该虚拟机的硬盘

# 创建新虚拟机
qm create 9000 --name ubuntu-bionic-template --memory 2048 --net0 virtio,bridge=vmbr0

# 将下载好的 img/qcow2 镜像导入为新虚拟机的硬盘
qm importdisk 9000 ubuntu-20.10-server-cloudimg-amd64.img local-lvm

# 通过 scsi 方式,将导入的硬盘挂载到虚拟机上
qm set 9000 --scsihw virtio-scsi-pci --scsi0 local-lvm:vm-9000-disk-0
# 创建一个 cloud-init 需要使用的 CDROM 盘(sr0)
qm set 9000 --ide2 local-lvm:cloudinit
# 设置系统引导盘
qm set 9000 --boot c --bootdisk scsi0
# 设置 serial0 为显示终端,很多云镜像都需要这个。(?感觉我不需要?)
qm set 9000 --serial0 socket --vga serial0

后续配置:

  1. 手动设置 cloud-init 配置,启动虚拟机,并通过 ssh 登入远程终端。
  2. 检查 qemu-guest-agent,如果未自带,一定要手动安装它!
  3. 安装所需的基础环境,如 docker/docker-compose/vim/git/python3
  4. 关闭虚拟机,然后将虚拟机设为模板(只读)。
  5. 接下来就可以从这个模板虚拟机,克隆各类新虚拟机了~

cloud-init 高级配置

PVE 使用 CDROM 只读盘(/dev/sr0)来进行 cloud-init 的配置。
在虚拟机启动后,/dev/sr0 将被卸载。

可挂载上该只读盘,查看其中的初始化配置内容:

$ mkdir cloud-config
$ mount /dev/sr0 cloud-config
mount: /dev/sr0 is write-protected, mounting read-only
$ ls cloud-config
meta-data  network-config  user-data

查看上述文件发现 user-data 有如下问题:

  1. 它硬编码了 manage_etc_hosts: true,这导致我手动在 /etc/cloud/cloud.cfg 里设定的 manage_etc_hosts: false 被覆盖。
  2. 它设置了 hostname: <vm-name>
    1. cloud-init 的默认策略是 preserve_hostname: false,表示不维持对 hostname 的修改。
    2. 默认策略的实际行为:每次虚拟机启动时,cloud-init 都会自动将 /etc/hostname 还原为 user-data 中的 hostname/fqdn.
    3. 这使任何对 /etc/hostname 的手动修改,都是临时的,重启就会被还原为 user-data 中设置的 hostname.

修改 cloud-init 相关的硬编码参数

通过前面的排查,我们发现 proxmox 有很多参数都硬编码了,没有通过配置暴露出来,导致我们无法修改。

为了解决这个问题,我们完全可以修改掉 PVE 代码里的硬编码参数。

首先通过全文搜索,找到硬编码参数的位置:

# 在 /usr/share 中全文搜索 manage_etc_hosts 这个关键字
grep -r manage_etc_hosts /usr/share

直接就搜索到了硬编码位置是 /usr/share/perl5/PVE/QemuServer/Cloudinit.pm

  1. 手动将配置修改为 manage_etc_hosts: localhost,就能让 cloud-init 只更新 localhost 相关的 hosts 内容。

  2. 如果希望对 hostname 的手动修改能永久生效,可以添加参数 preserve_hostname: true.

    1. 注意这样设置后,cloud-init 的 set_hostname/update_hostname 两个模块将不会修改 hostname!

对上述文件的修改需要重启 PVE 后,才能生效(因为 perl 程序才启动后代码就加载到内存中了,改文件对内存中的对象没有影响)。

解决 SSH 登录速度慢的问题

貌似所有的 cloud-init 的虚拟机,SSH 都存在速度慢的问题。
关闭掉 ssh server 的反向 DNS 解析,可以解决这个问题:

echo "UseDNS no" >> /etc/ssh/sshd_config

虚拟机硬盘扩容

CentOS/Ubuntu/Debian 提供的 Cloud 镜像,都自带了 cloud-utils-growpart 这个组件,可以实现在扩容物理硬盘时,自动调整 Linux 的分区大小。

因此需要扩容虚拟机时,直接通过 UI 面板/命令行扩容虚拟机的硬盘即可, Linux 的分区会被 cloud-utils-growpart 自动扩容。

因为这个方便的特性,也为了减少虚拟化的开销,Cloud 镜像默认是不使用 LVM 逻辑分区的。
LVM 逻辑分区虽然方便,但是它对物理机的作用更大些。虚拟机因为本身就能动态扩容“物理硬盘”的大小,基本不用不到 LVM。

还有一点,就是虚拟机通常只需要一个根分区就行,尤其是归 openstack/kubernetes 管的虚拟机。
只有在使用分布式存储之类的场景下,数据需要独立存储,才需要用到额外的分区(/data 之类的)。
一般只有物理机,才需要像网上很多文章提的那样,为 /boot / /home 去单独分区。
而且现在大家都用 SSD 了,物理机这样做分区的都少了,比如我个人电脑,就是一个 / 分区打天下。。。

自动化工具

监控告警

常见问题

1. 导入已有的 qcow2 镜像

必须要命令行操作

先通过 scp 将 qcow2 传输到 PVE 上,然后命令行使用如下命令导入镜像:

# 命令格式
qm importdisk <vmid> <source> <storage>
# 示例
qm importdisk 201 vm-201-disk-1.qcow2 local-lvm

导入完成后,在 WebUI 界面的左侧会看到多了一个「未使用的磁盘 0」,
现在新建一台新虚拟机,然后删除掉默认的磁盘(分离+删除,要两步),然后挂载这个「未使用的磁盘 0」就大功告成了。

相关文档

posted @ 2020-11-19 16:50  於清樂  阅读(3963)  评论(0编辑  收藏  举报