hyperstart 容器创建流程分析
hyperstart中运行的pod的核心数据结构如下所示：
struct hyper_pod {
struct hyper_interface *iface;
struct hyper_route *rt;
struct portmapping_white_list *portmap_white_lists;
char **dns;
struct list_head containers;
struct list_head exec_head;
char *hostname;
char *share_tag;
int init_pid;
uint32_t i_num;
uint32_t r_num;
uint32_t d_num;
/* how many containers are running */
uint32_t remains;
int req_destroy;
int efd;
};
1、static int hyper_start_pod(char *json, int length)：
该函数首先调用hyper_parse_pod(pod, json, length)，将从runv传入的json数据解析用来填充pod，pod为指向全局变量global_pod的指针。之后，再调用hyper_setup_pod(pod)进行容器创建之前的准备工作，最后调用hyper_start_containers(pod)进行容器的创建和启动的工作。
2、static int hyper_setup_pod(struct hyper_pod *pod)：
该函数首先创建了一个目录"/tmp/hyper/proc"，之后再依次调用hyper_setup_network(pod)，hyper_setup_dns(pod)，hyper_setup_shared(pod)，hyper_setup_portmapping(pod)，hyper_setup_pod_init(pod)进行pod的初始化工作。其中我们先主要关注hyper_setup_shared和hyper_setup_pod_init的工作。
3、static int hyper_setup_shared(struct hyper_pod *pod)：
该函数的作用就是将容器的镜像挂载到SHARE_DIR（/tmp/hyper/shared）。当hypervisor为QEMU时，该函数的操作简化的来看，就是将宿主机的/var/run/hyper/vm-ID/share_dir目录挂载到SHARE_DIR下。此时，rootfs在SHARE_DIR/container-ID/之下。
4、static int hyper_setup_pod_init(struct hyper_pod *pod)：
该函数的主要作用是调用clone创建一个pod进程，其中的主要逻辑如下：
int flag = CLONE_NEWPID | CLONE_NEWNS | CLONE_NEWIPC | CLONE_NEWUTS
struct hyper_pod_arg arg = {.pod = NULL, .ctl_pipe = {-1, -1}, .pod = pod}
pod->init_pid = clone(hyper_pod_init, stack + stacksize , flags, &arg)
5、static int hyper_pod_init(void *data)：
该函数的工作主要用于为SIGCHLD设置信号处理函数，重新挂载/proc目录，最后重新设置pod的hostname，最后无限等待用于处理SIGCHLD。
hyperstart中container的核心数据结构如下：
struct hyper_container {
struct list_head list;
struct hyper_exec exec;
int ns;
uint32_t code;
// configs
char *id;
char *rootfs;
char *image;
char *scsiaddr;
char *fstype;
struct volume *vols;
struct fsmap *maps;
struct sysctl *sys;
struct port *ports;
int vols_num;
int maps_num;
int sys_num;
int ports_num;
int initialize;
};
6、static int hyper_start_containers(struct hyper_pod *pod)：
该函数的作用就是根据pod内container的配置信息创建container，并且在其中运行process。主要的内容为遍历pod中的container，执行hyper_setup_container(c, pod)和hyper_run_process(&c->exec)。
7、int hyper_setup_container(struct hyper_container *container, struct hyper_pod *pod)：
该函数首先通过hyper_setup_container_portmapping(container, pod)和hyper_setup_pty(container)，为container设置port mapping和pty，之后再调用pid = clone(hyper_setup_container_rootfs, stack + stacksize, flags, &arg) （注：flag = CLONE_NEWNS | SIGCHLD）创建容器进程。最后获取容器的mount namespace fd:
sprintf(path, "/proc/%s/ns/mnt", pid);
container->ns = open(path, O_RDONLY | O_CLOEXEC);
8、static int hyper_setup_container_rootfs(void *data)：
(1)、该函数首先等待父进程打开容器进程的container->ns，之后调用hyper_enter_sandbox(arg->pod, -1)，利用setns进入pod->init_pid的PID，UTS，IPC namespace，之后再fork一个子进程。（对pod->init_pid的操作不应该是在pod的PID namespace之外么？但现在是在pod 的 pid namespace中，并且已经重新挂载了/proc）
(2)、之后，两个mount命令，将根目录的模式设置为MS_PRIVATE和MS_SLAVE。接着设置root目录为"/tmp/hyper/container-id/root/"，然后将SHARE_DIR挂载到root目录，此时容器的根文件系统挂载完成。之后，将当前目录切换到容器的根目录
(3)、调用函数container_setup_init_layer(container, setup_dns)，对/etc, /etc/resolv.conf，/etc/hosts，/etc/hostname进行重新创建，并且将/proc/mounts重新链接到/etc/mtab。相当于创建了docker中的init-layer。之后再调用container_setup_modules，container_setup_volumes，container_setup_dns进行rootfs的初始化工作
(4)、调用chroot(".")和chdir("/")
(5)、调用container_setup_sysctl(container)和container_setup_workdir(container)，根据配置文件队/proc/sys/进行配置，然后进入容器的workdir
hyperstart中exec的核心数据结构如下所示：
struct hyper_exec {
struct list_head list;
struct hyper_pod *pod;
struct hyper_event stdinev;
struct hyper_event stdoutev;
struct hyper_event stderrev;
int pid;
int ptyno;
int init;
int ptyfd;
uint8_t close_stdin_request;
uint8_t code;
uint8_t exit;
uint8_t ref;
char *container_id;
char *user;
char *group;
char **additional_groups;
int nr_additional_groups;
struct env *envs;
int envs_num;
char **argv;
int argc;
int tty;
uint64_t seq;
uint64_t errseq;
char *workdir;
}
9、int hyper_run_process(struct hyper_exec *exec)
...
struct stdio_config io = {-1, -1,-1, -1,-1, -1}
...
hyper_setup_stdio(exec, &io)
pipe2(pipe, O_CLOEXEC)
pid = fork()
if (pid == 0) {
hyper_do_exec_cmd(exec, pipe[1], &io)
}
hyper_get_type(pipe[0], &type)
hyper_setup_stdio_events(exec, &io) // 和容器建立IO
exec->pid = type
list_add_tail(&exec->list, &exec->pod->exec_head)
exec->ref++
....
10、static int hyper_do_exec_cmd(struct hyper_exec *exec, int pipe, struct stdio_config *io)
hyper_enter_sandbox(exec->pod, pipe) -> enter pidns of pod init
c = hyper_find_container(exec->pod, exec->container_id)
setns(c->ns, CLONE_NEWNS)
chdir("/")
hyper_setup_env(c->exec.envs, c->exec.envs_num)
setenv("HOME", "/root", 1)
setenv("HOSTNAME", exec->pod->hostname, 1)
if (exec->tty) {
setenv("TERM", "xterm", 1)
} else {
unsetenv("TERM")
}
hyper_exec_process(exec, io)
11、static void hyper_exec_process(struct hyper_exec *exec, struct stdio_config *io)
sigprocmask(SIG_SETMASK, &orig_mask, NULL)
exec->workdir && chdir(exec->workdir)
hyper_setup_exec_user(exec)
hyper_setup_exec_env(exec->envs, exec->envs)
setsid()
hyper_install_process_stdio(exec, io)
execvp(exec->argv[0], exec->argv)
