可执行文件(ELF)的装载与进程
程序员的自我修养
可执行文件的装载与进程
进程虚拟地址空间
-
什么是程序?什么是进程?
- 程序是一个静态的概念,它就是一些预先编译好的指令和数据的集合
- 进程是一个动态的概念.它是程序运行时的一个过程
- CPU比作是人, 程序比作是菜谱, 硬件等资源比作是菜,厨具之类的东西.
- 进程就是整个炒菜的过程 计算机安装程序的指示把输入数据加工成输出数据, 就好像厨师按照菜谱指导人把原料做成美味的菜一样
-
每个进程都有自己独立的虚拟地址空间, 进程只能使用操作系统分配的地址空间内的地址
- 如果访问未经允许的空间, 操作系统就会捕获到这些访问, 将进程强制结束, 比如Windows 进程因为非法操作需要关闭 , Linux 的Segment fault等
-
在Linux下
-
0XC0000000是操作系统和用户进程地址空间的划分线 ,系统用了1GB, 进程可用的3GB
-
那如果进程想跑一个3GB以上的怎么办?或者说程序使用的空间能不能大于3GB呢?
-
从虚存的角度来说是不行的
-
从实际的内存来说是可以的
- windows下有个叫PAE AWE的东西
- 可以从高于4GB的内存空间里申请ABCD等多块物理空间, 然后根据需要把某段虚存映射到这不同的ABCD块
-
-
-
装载的方式
-
最简单的办法就是把程序和数据全部存入内存中, 这就是静态装载
-
根据程序局部性原理, 还可以把程序最常用的部分驻留在内存中 ,不常用的放在 硬盘上 这就是动态装载
-
动态装载分成 覆盖装入overlay和页映射Paging
-
覆盖装入是上古时期的产物了,程序员在写代码的时候要手动替换模块, 而且要思考清楚 模块的依赖关系, 最后可以用树 这种数据结构来描述
- 子主题 1
-
页映射
-
可以说Modern OS都是采用这种方式
- 页就是由操作系统的存储管理器来做一个 装载管理器的工作,
- 由MMU来完成虚拟地址转换成物理地址的过程
- 把一般为4KB 也就是0x00001000大小段的页 读进内存
- 当然内存满了之后有替换算法, 比如FIFO,之类的
-
-
-
从操作系统的角度来看 可执行文件的装载
-
进程的建立
- 一个进程最关键的特点是 它拥有独立的虚拟地址空间
-
进程建立的三个步骤
-
1.创建一个独立的虚拟地址空间
- 实际上很简单, 就是操作系统给你分配了一个页目录(Page Directory)
-
2.读取可执行文件的头部 ,做好可执行文件ELF和虚拟地址空间的映射,
-
首先回忆一下缺页中断会发生什么
- 操作系统首先从空闲的物理内存中分配一个物理页, 然后我们就是要加载磁盘上的页到这个物理页上,最后设置好这个物理页的物理地址和虚拟地址的关系
- 那么问题来了, 我们怎么知道程序当前需要的页到底在什么位置呢? 这正是第2点 , 可执行文件和虚存映射要做的事情
-
实际上看图, 这种映射关系被保存在操作系统内部的一个数据结构 叫VMA(virtual Memory Area)
-
比如操作系统创建进程后 会在进程相应的数据结构里设置一个对应.text段的VMA, 这个VMA还会带有一些权限的限制, 比如只读, 后续我们还会进行合并
-
实际上操作系统发生段错误的时候, 通过查找这样的数据结构来定位页错误在可执行文件中的位置, 从而可以把正确的可执行文件的页加载进来
-
-
-
3.将CPU的指令寄存器 设置成 可执行文件的入口地址, 启动运行
-
这步其实最简单, 通过设置CPU的指令寄存器将CPU时间片交给进程,
-
在操作系统层面比较复杂
- 涉及到内核堆栈和用户堆栈的切换, CPU运行权限的切换
-
不过对程序来说,
- 不就是执行了一条跳转指令吗, 跳到ELF文件的入口地址
-
-
-
-
页错误
-
再重复一下刚才的过程, 就当是总结了吧
- 比如那个入口地址是0x08048000, 执行是发现页面0x08048000- 0x08049000是个空页面, 这时候触发缺页中断, CPU将控制权交给OS, OS查询那个VMA ,然后计算出对应ELF文件的偏移, 然后找一个空闲的物理地址, 建立好虚存和物理内存的映射关系(应该是由MMU)来完成的 ,最后回到进程刚才page fault的地方继续执行
-
-
进程虚存分布
-
刚才说的虚存和ELF文件的映射关系会产生碎片的问题, 而你站在操作系统的角度来看它其实并不关系这虚存对应的到底是.bss段还是.text段 ,操作系统只关心这些段的权限问题(read write exec)
-
所以把相同权限的section合并成一个虚存段segment是一个很自然的想法
- 子主题 1
-
这样做的好处是显著减少了页面内部碎片, 从而节省了内存空间
-
其实无非就是虚存的segment合并了 ELF的几个section罢了
-
一般ELF会分成两个段
- VMA0
- VMA1
-
-
-
-
堆和栈
-
首先在linux下可以 cat /proc/21963/map
-
这个可以看到究竟划分成了几个段
-
子主题 3
-
一般来说是5个
-
VMA0
-
VMA1
-
stack VMA
-
heap VMA
-
vdso
- 这个地址是属于大于0xC0000000的, 也就是属于内核的地址了
- 这个是进程可以用来访问内核, 做一些通信
-
-
-
进程除了那些segement之外还有自己的stack, 和Heap
-
每个线程都有属于自己的堆栈
-
比如这个进程的heap 140KB, stack 88KB
-
那如果是单线程的话
- 整个heap都是这个线程的
-
-
堆在linux下理论3GB, 实际大概可以2.9GB
-
windows
-
理论2G
- 实际大概1.5G
-
-
-
进程虚存空间分布
-
ELF文件链接视图和执行视图
- 操作系统并不关心可执行文件各个段的内容, 值只关心和装载相关的问题, 最主要是段的权限(可读, 可写 ,可执行)
- 子主题 2
-
进程栈初始化
- 进程刚启动的时候, 必须知道一些进程运行的环境, 最基本的就是环境变量和 进程的运行参数(argc, argv)
- 子主题 2
- 进程启动 以后, 程序的库部分会把堆栈里的初始化信息中的参数信息传给main函数, 也就是我们熟知的argc和argv
Linux内核装载ELF过程简介
-
首先在用户层面,bash进程会调用 fork系统调用创建一个新的进程, 然后新的进程调用execve()系统调用 执行指定的ELF文件, 原先的bash进程 返回继续等待过程启动的新进程结束, 然后继续等待用户输入命令
- execve()在unistd.h
-
minibash
-
在进入execve系统调用后, Linux内核开始进入真正的装载工作.
- 在内核中,execve系统调用相应的入口是sys_execve()
- 在进行一些参数的复制后, 调用do_execve()
- do_execve()会先查找被执行的文件, 如果找到了, 读前128个字节,
- 因为linux支持的可执行文件不止一种, a.out java等
- 我们通过魔数来判断究竟是哪种可执行文件
- 当do_execve()读取了128个byte后, 调用search_binary_handle()去搜索和匹配 合适的 可执行文件装载处理过程
- 比如ELF可执行文件对应的装载过程的函数 名叫 load_elf_binary
- a.out叫 load_aout_binary
- 脚本类叫 load_script_binary
-
load_elf_binary
-
1.检查文件有效性 比如魔数, segment数量
-
2.寻找.interp段, 设置动态链接器路径
-
3.根据ELF文件程序头表的描述 ,对ELF文件进行映射, 比如代码, 数据,只读数据
-
4.初始化ELF进程环境,
-
5.将系统调用的返回地址修改成ELF文件可执行文件的入口点
-
这个入口点对于静态链接的
- e_entry所指的地址
-
对于动态链接
- 入口是动态链接器
-
-
-
当load_elf_binary()执行完成后,系统调用的返回地址已经修改成被装载的ELF文件的入口地址了, sys_execve()系统调用()从内核态返回到用户态的时候, EIP寄存器直接跳转到了 ELF程序的入口地址
-
至此, 新的程序开始执行, ELF可执行文件装载完成
分支主题 2
分支主题 3
XMind: ZEN - Trial Version
