qemu的io流程

qemu version: 4.1.0

一 qemu主线程

以存储类型virtio-blk为例，guest内部发起io请求，当qemu主线程轮询到了ioeventfd，调用aio_dispatch_handlers处理io。

aio_dispatch_handlers
	...
		virtio_queue_notify_aio_vq
			vq->handle_aio_output
				virtio_blk_data_plane_handle_output
					...
						submit_requests //处理io请求
							if (is_write)
								blk_aio_pwritev
							else
								blk_aio_preadv

二 协程

blk_aio_prwv负责将块设备的异步io请求封装和调度，并在完成后回调通知，以wirte为例，创建一个协程后返回，将io请求交给协程来处理，入口函数是blk_aio_write_entry，等协程完成io后通知主线程，回调函数是virtio_blk_rw_complete。

blk_aio_pwritev
	blk_aio_prwv(...blk_aio_write_entry...virtio_blk_rw_complete...)
		qemu_coroutine_create(...blk_aio_write_entry...) //创建协程处理io请求
		bdrv_coroutine_enter

blk_aio_write_entry
	blk_co_pwritev
		bdrv_co_pwritev
			bdrv_driver_pwritev
				raw_co_pwritev
					raw_co_prw
	blk_aio_complete //当io返回，收到通知，切回协程，通知主线程。
		acb->common.cb
			virtio_blk_rw_complete

三 linux aio和aio线程池

raw_co_prw有两种处理io的方式，当配置了linux_aio，调用laio_co_submit，否则调用raw_thread_pool_submit。

linux aio

linux aio是内核级别的异步io实现，协程调用laio_do_submit，将io请求交给内核处理，无需等待，返回到主线程。
当内核处理完io请求，回调qemu_laio_completion_cb，切回协程。

raw_co_prw
	laio_co_submit
		laio_do_submit //由内核处理，无需等待。
		qemu_coroutine_yield //切出协程，返回主线程。

qemu_laio_completion_cb //io完成的回调函数
	qemu_laio_process_completions_and_submit
		...
			qemu_coroutine_entered //当io返回，收到通知，切回协程，完成剩下的工作。

aio线程池

qemu有一个专门负责aio的线程池thread_pool，协程将io请求交给线程池处理，无需等待，返回到主线程。
当线程池处理完io请求，回调thread_pool_co_cb，切回协程。

raw_co_prw
	raw_thread_pool_submit
		thread_pool_submit_co
			thread_pool_submit_aio(...handle_aiocb_rw...thread_pool_co_cb) //由线程池负责处理，无需等待。
			qemu_coroutine_yield //切出协程，返回主线程。

handle_aiocb_rw //处理io的入口函数
	handle_aiocb_rw_linear
		pwrite

thread_pool_co_cb //io完成的回调函数
	aio_co_wake
		qemu_coroutine_entered //当io返回，收到通知，切回协程，完成剩下的工作。

四 iotherad

当配置了iothread，将设备的io操作从qemu主线程中分离出来，交给iothread线程。