创建虚拟机-qemu-kvm和openvswitch原型环境部署和基本测试 (2)
使用qemu-kvm创建虚拟机
本文包含以下几个部分：
- 创建磁盘
- 安装VNC Server
- 启动虚拟机
- 通过VNC访问虚拟机
- 通过nc访问虚拟机监控和管理
- 遇到的问题
1. 创建磁盘
使用qemu-kvm工具中的qemu-img创建磁盘。
支持的文件类型：blkdebug blkverify bochs cloop dmg file ftp ftps gluster host_cdrom host_device host_floppy http https iscsi nbd parallels qcow qcow2 qed quorum raw rbd sheepdog ssh tftp vdi vhdx vmdk vpc vvfat
$ qemu-img create -f qcow2 qcow2.rhel64.img 5G
还可以使用dd命令创建raw disk（不推荐）
dd if=/dev/zero of=/path/os.img bs=1024 count=1024
dd if=/dev/zero of=/path/os.img bs=1 count=1 seek=3G
mkfs.ext3 /path/os.img
mount -o loop /path/os.img /mnt
往/mnt中写东西，然后umount
到其它地方挂载即可。
注： 如果安装图形化界面的Linux，最好5G以上，因为安装完RHEL或者CentOS 6后，系统会占用2.6GB以上的空间。
2. 安装VNC Server
$ yum install vnc-server tigervnc #centos 5.x
$ yum install tigervnc-server tigervnc #centos 6.x
注：如果vncserver仅用于虚拟机VNC访问，那么不需要初始化配置和启动vncserver。
3. 启动虚拟机
qemu-kvm创建虚拟机时，可以指定CPU、内存、磁盘、光驱、网卡、USB、声卡等硬件，也可以指定monitor监控方式用于监控和管理虚拟机。
由于虚拟机网络比较复杂，本文不配置网卡，留在虚拟机网络一文和openswitch网络中详细介绍。
由于虚拟机USB和声卡目前用不到，本文不配置，不介绍。
启动虚拟机后需要安装操作系统的，用下面的命令：
/usr/libexec/qemu-kvm
-name centos_desktop_vm09 #虚拟机名字
-uuid 9929edac-19cb-505c-fbac-1b4d2c30bafe #虚拟机UUID
-m 1024 # 内存
-smp 2,sockets=2,cores=1,threads=1 # CPU
-monitor tcp:10.60.0.45:8809,server,nowait # 监控
-drive file=/home/kvmdisk/qcow2.rhel64.3g.05.img,if=none,id=drive-virtio-disk0,format=qcow2,cache=writeback #磁盘
-device virtio-blk-pci,scsi=off,bus=pci.0,addr=0x6,drive=drive-virtio-disk0,id=virtio-disk0,bootindex=1 # 驱动
-vnc 192.168.1.5:9 # 远程桌面访问
-vga cirrus # 选择显卡
-cdrom /home/iso/rhel-server-6.4-x86_64-dvd.iso
-device virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x7
-boot once=dc #指定驱动器启动顺序
启动虚拟机后不需要安装操作系统的，去掉-boot或者改为-boot c，去掉-cdrom。
注： 实际使用时，需要安装操作系统后，制作成虚拟机镜像，每次启动虚拟机时，直接使用复制镜像作为启动磁盘，启动后就不用安装操作系统了。虚拟机镜像会在之后的文章中单独描述。
参数含义：
-m，指定内存，如果不指定，内存默认为128MB；如果参数值为数字，则单位为MB；可以加单位，M或者G。
-smp，cpu架构为smp，sockets为插槽数(CPU数)，cores为单颗CPU核心数，threads为超线程数。
-monitor，监视器重定向，默认为vc(图形界面)和stdio（命令行界面）；如果希望通过网络访问，可以为telnet:192.168.1.5,server,nowait ，也可以为tcp:192.168.1.5:5555,server,nowait。server表示是一个linstening socket, nowait表示等待客户端连接的时候不应该阻塞。
-drive和-device，磁盘命令，drive是磁盘，device是驱动，两者配合在一起使用，drive用于指定磁盘文件位置，device用于指定驱动，采用virtio驱动来提升效率，对应的virtio磁盘驱动为virtio-blk-pci。注意-device的drive属性值需要指向某个drive，所以-drive的id和-device的drive要一致。bootindex表示启动顺序。bus、addr用于指定总线，一般是pci，可以指定pci.0, pci.1等，addr不能和其它device重复，大于0即可。
(-drive详细) -drive option[,option[,option[,...]]]
option有以下列表：
file=[file path], if=[file type (ide, scsi, virtio...)], index=[index], media=[disk| cdrom], snapshot=[on|off],cache=[none|writeback|unsafe|directsync|writethrough],format=[qcow2|raw|vmdk|...],copy-on-read=[on|off]
-cdrom，指定CD/DVD的iso文件路径，最常用于系统安装时。
-boot，指定驱动器启动顺序，可以直接用-boot c或者-boot d，其中d表示磁盘，c表示光驱。这个参数可以用-device参数后面的bootindex属性代替。
-vnc，指定vnc地址，-vnc后面的格式是
注： 有三个参数本次测试没有使用，但是virt-manager启动虚拟机时会自动加上。
-nodefconfig （默认下qemu会从sysconfdir和datadir读取配置，-nodefconfig禁止qemu读取 ）
-nodefaults （默认qemu会创建serial port, parallel port, virtual console, monitor device, VGA adapter, floppy and CD-ROM drive and others，-nodefaults禁止创建这些默认的）
-enable-kvm （允许KVM全虚拟化支持，该选项只有在linux编译时就加入了KVM支持的时候才有效）
带第二块盘：
/usr/libexec/qemu-kvm
-name centos6 -smp 2,cores=2 -m 1024
-drive file=/home/kvmdisk/qcow2.rhel64.2.img,media=disk,format=qcow2,if=none,id=systemdisk
-device virtio-blk-pci,scsi=off,bus=pci.0,addr=0x04,drive=systemdisk,id=systemdiskvirtio,bootindex=0
-drive file=/home/kvmdisk/qcow2.pdisk.1.img,media=disk,format=qcow2,if=none,id=datadisk
-device virtio-blk-pci,scsi=off,bus=pci.0,addr=0x05,drive=datadisk,id=datadiskvirtio
-vnc 10.60.0.45:7
-boot c
4. 通过VNC访问虚拟机
客户端：在windows中，下载vncviewer，运行后，访问
5. 通过nc访问虚拟机监控和管理（虚拟机模拟器）
根据-monitor指定的参数，如果是tcp类型的，则可以通过以下命令访问：
$ nc 192.168.1.5 5555
[xinhua@mysql01 ~]$ nc mysql01 8809
QEMU 0.12.1 monitor - type 'help' for more information
(qemu) info
info
info version -- show the version of QEMU
info commands -- list QMP available commands
info network -- show the network state
info chardev -- show the character devices
注： 如果是telnet类型的，可以直接通过telnet 192.168.1.5访问。如果是unix socket类型的，可以通过 nc -U <unix_socket_filepath>访问，但是这种方式实际并不可用。
6.本次测试遇到的问题
(1) 如果忘记设置内存-m，那么系统启动时停止在childrip，即内存越界。
[ 7.048543] [<ffffffff8100ce22>] kernel_thread+0x82/0xe0
[ 7.054566] [<ffffffff8105fec1>] ? __call_usermodehelper+0x0/0x6a
[ 7.061482] [<ffffffff8105fcd8>] ? ____call_usermodehelper+0x0/0x118
[ 7.068666] [<ffffffff8100ce80>] ? child_rip+0x0/0x20
[ 7.074407] [<ffffffff8105ff0c>] ? __call_usermodehelper+0x4b/0x6a
[ 7.081403] [<ffffffff8106168e>] worker_thread+0x14e/0x1f8
[ 7.087627] [<ffffffff810651a3>] ? autoremove_wake_function+0x0/0x38
[ 7.094818] [<ffffffff81061540>] ? worker_thread+0x0/0x1f8
[ 7.101039] [<ffffffff81064f69>] kthread+0x69/0x71
[ 7.106488] [<ffffffff8100ce8a>] child_rip+0xa/0x20
[ 7.112027] [<ffffffff81064f00>] ? kthread+0x0/0x71
[ 7.117564] [<ffffffff8100ce80>] ? child_rip+0x0/0x20
(2) 遇到vnc窗口一闪而过，通过在客户端的expert页面中修改colorlevel属性为rgb222解决。
(3) qemu-kvm命令后面的参数的属性用逗号隔离的，注意逗号前不要加空格
(4) 如果设置内存小于512M，可能不能通过图形化界面安装Linux操作系统，只能通过文本命令行安装。
7. 其它更高级的虚拟化管理工具生成的qemu-kvm进程
OpenStack nova启动的KVM虚拟机进程
/usr/libexec/qemu-kvm -name instance-0000008b -S -machine pc-i440fx-rhel7.1.0,accel=kvm,usb=off -cpu Westmere,+rdtscp,+pdpe1gb,+x2apic,+dca,+pcid,+pdcm,+xtpr,+tm2,+est,+smx,+vmx,+ds_cpl,+monitor,+dtes64,+pclmuldq,+pbe,+tm,+ht,+ss,+acpi,+ds,+vme -m 512 -realtime mlock=off -smp 1,sockets=1,cores=1,threads=1 -uuid 9916d558-ca8d-4afe-b545-1b0144ef8c17 -smbios type=1,manufacturer=Fedora Project,product=OpenStack Nova,version=12.0.0-1.el7,serial=6d17f1e0-1901-48a2-aa98-7e8636183b0f,uuid=9916d558-ca8d-4afe-b545-1b0144ef8c17,family=Virtual Machine -no-user-config -nodefaults -chardev socket,id=charmonitor,path=/var/lib/libvirt/qemu/domain-instance-0000008b/monitor.sock,server,nowait -mon chardev=charmonitor,id=monitor,mode=control -rtc base=utc,driftfix=slew -global kvm-pit.lost_tick_policy=discard -no-hpet -no-shutdown -boot strict=on -device piix3-usb-uhci,id=usb,bus=pci.0,addr=0x1.0x2 -drive file=/data3/novastate/instances/9916d558-ca8d-4afe-b545-1b0144ef8c17/disk,if=none,id=drive-virtio-disk0,format=qcow2,cache=none -device virtio-blk-pci,scsi=off,bus=pci.0,addr=0x4,drive=drive-virtio-disk0,id=virtio-disk0,bootindex=1 -netdev tap,fd=23,id=hostnet0,vhost=on,vhostfd=32 -device virtio-net-pci,netdev=hostnet0,id=net0,mac=fa:16:3e:73:cc:7f,bus=pci.0,addr=0x3 -chardev file,id=charserial0,path=/data3/novastate/instances/9916d558-ca8d-4afe-b545-1b0144ef8c17/console.log -device isa-serial,chardev=charserial0,id=serial0 -chardev pty,id=charserial1 -device isa-serial,chardev=charserial1,id=serial1 -device usb-tablet,id=input0 -vnc 192.168.201.253:12 -k en-us -device cirrus-vga,id=video0,bus=pci.0,addr=0x2 -device virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x5 -msg timestamp=on
virt-manager启动的KVM虚拟机进程
如果img为qcow2格式，但是自动创建虚拟机时，向导并没有让指定磁盘类型，因此为raw。这样在安装客户机的操作系统时，会报磁盘没有空间的错误。
/usr/libexec/qemu-kvm -name centos-vm01 -S -M rhel6.6.0 -enable-kvm -m 1024 -realtime mlock=off -smp 4,sockets=4,cores=1,threads=1 -uuid 55c34d55-23f2-2f13-a02d-ce8995adebb7 -nodefconfig -nodefaults -chardev socket,id=charmonitor,path=/var/lib/libvirt/qemu/centos-vm01.monitor,server,nowait -mon chardev=charmonitor,id=monitor,mode=control -rtc base=utc -no-reboot -no-shutdown -device ich9-usb-ehci1,id=usb,bus=pci.0,addr=0x5.0x7 -device ich9-usb-uhci1,masterbus=usb.0,firstport=0,bus=pci.0,multifunction=on,addr=0x5 -device ich9-usb-uhci2,masterbus=usb.0,firstport=2,bus=pci.0,addr=0x5.0x1 -device ich9-usb-uhci3,masterbus=usb.0,firstport=4,bus=pci.0,addr=0x5.0x2 -drive file=/home/kvmdisk/qcow2.rhel64_vm01.img,if=none,id=drive-virtio-disk0,format=raw,cache=none -device virtio-blk-pci,scsi=off,bus=pci.0,addr=0x6,drive=drive-virtio-disk0,id=virtio-disk0,bootindex=2 -drive file=/home/kvmdisk/rhel-server-6.4-x86_64-dvd.iso,if=none,media=cdrom,id=drive-ide0-1-0,readonly=on,format=raw -device ide-drive,bus=ide.1,unit=0,drive=drive-ide0-1-0,id=ide0-1-0,bootindex=1 -netdev tap,fd=23,id=hostnet0,vhost=on,vhostfd=24 -device virtio-net-pci,netdev=hostnet0,id=net0,mac=52:54:00:70:46:65,bus=pci.0,addr=0x3 -chardev pty,id=charserial0 -device isa-serial,chardev=charserial0,id=serial0 -device usb-tablet,id=input0 -vnc 127.0.0.1:0 -vga cirrus -device intel-hda,id=sound0,bus=pci.0,addr=0x4 -device hda-duplex,id=sound0-codec0,bus=sound0.0,cad=0 -device virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x7 -msg timestamp=on
