内存映射

内存映射

内存映射（Memory Mapping）是一种操作系统提供的机制，它允许把文件或设备中的内容映射到进程的虚拟内存空间中，从而使得程序可以像访问普通内存一样访问文件内容或硬件资源。这种机制广泛用于文件 IO 优化、进程间通信、设备访问等场景。

基本概念

内存映射是指：把一个文件或设备的内容直接映射到进程的虚拟地址空间，之后程序可以像操作内存一样，直接读写文件内容。

在 Linux 和 Unix 系统中，主要通过 mmap() 系统调用实现：

void* mmap(void* addr, size_t length, int prot, int flags, int fd, off_t offset);
  • addr：建议映射到的内存起始地址（一般为 NULL，由系统决定）
  • length：映射的字节数
  • prot：访问权限，如 PROT_READ、PROT_WRITE 等
  • flags：映射类型，如 MAP_SHARED（共享）或 MAP_PRIVATE（私有）
  • fd：要映射的文件描述符
  • offset：文件中映射的起始偏移量（必须是页对齐）

分类

按用途分

  • 文件映射：把磁盘上的文件映射到内存，如使用 mmap 实现对大文件的访问。
  • 匿名映射：不依赖文件，映射的是一块匿名内存区域，如用于进程间通信。

按共享方式分

  • 共享映射（MAP_SHARED）
    • 内存的修改会同步到磁盘文件。
    • 多个进程共享这块内存，适用于进程间通信。
  • 私有映射（MAP_PRIVATE）
    • 内存的修改不会影响磁盘文件，系统会在写时进行拷贝（Copy-On-Write）。
    • 通常用于只读或临时修改。

优点

高效 I/O：

  • 省去显式的 read/write 调用，直接在用户空间访问文件内容。

  • 操作系统使用页缓存和按需加载优化访问。

节省内存开销：

  • 多个进程可共享映射区域，节省物理内存。

便于进程间通信（IPC）：

  • 使用共享映射区域，多个进程可直接读写同一块内存。

简化文件处理逻辑：

  • 将文件看成一个普通内存数组，访问更自然。

底层机制

当一个文件被 mmap() 映射时，并不是立刻把整个文件读入内存，而是先在进程的虚拟地址空间中预留一块区域，并与目标文件建立映射关系。真正的数据访问依赖缺页异常(Page Fault) 和页缓存(Page Cache)来完成。

数据存放位置

  1. 磁盘：文件的实际存储位置。
  2. 页缓存（Page Cache）：操作系统内存中的一部分区域，专门缓存文件数据块，避免频繁磁盘 I/O。
  3. 物理内存页：页缓存的具体实现单位，每个缓存页对应磁盘上的一段文件数据。
  4. 虚拟地址空间：进程能看到的线性地址，通过页表映射到物理页。

访问流程

  1. 进程访问映射区域（虚拟地址）
    • 初始时，这些虚拟页没有对应的物理页（页表项无效）。
  2. 触发缺页异常（Page Fault）
    • CPU 发现虚拟地址没有对应的物理页，于是陷入内核。
  3. 内核处理缺页
    • 内核定位到文件偏移位置。
    • 检查页缓存中是否已有这部分数据。
      • 如果已有 → 直接复用缓存页。
      • 如果没有 → 从磁盘读取文件块到内存的页缓存中。
  4. 建立映射关系
    • 内核将页缓存中的物理页与进程的虚拟地址绑定（更新页表）。
  5. 后续访问
    • 进程再次访问同一地址时，会直接命中页缓存中的物理页，就像普通内存访问一样，无需再访问磁盘。

典型应用场景

应用场景 说明
大文件读写 避免反复调用 read/write，如视频播放器、数据库等
共享内存通信 父子进程、多个进程通过映射共享一段内存
执行程序代码 程序加载时会把 .text、.data 段映射到内存
驱动设备访问 操作系统通过内存映射访问 I/O 设备寄存器

对比传统文件 I/O

维度对比表格

对比维度 传统文件 I/O (read/write) 内存映射 I/O (mmap)
使用方式 通过 read() 和 write() 接口显式进行 使用 mmap() 映射文件后，通过内存指针访问
数据流路径（读） 磁盘 → 内核页缓存 → 用户缓冲区 磁盘 → 页缓存 ←→ 用户空间直接访问
数据流路径（写） 用户缓冲区 → 内核 → 写入磁盘 写内存页 → 标记为脏页 → msync() 或回写
拷贝次数（读） 2 次拷贝：磁盘→页缓存，页缓存→用户缓冲区 1 次拷贝（磁盘→页缓存）；用户直接访问页缓存
系统调用次数 每次 I/O 都需要系统调用 初始化映射 + 缺页时才触发 page fault（更少）
访问方式 顺序读写，使用系统调用 支持随机访问，直接通过指针操作
内存使用 需要显式缓冲区，占用额外内存 共用页缓存，不需要显式用户缓冲区
效率（大文件访问） 效率低：频繁 syscall，用户缓冲区拷贝 高效：少系统调用，零拷贝，支持随机读取大文件
线程共享性 用户缓冲区无法多线程共享 多线程可以共享映射内存（用于进程间通信 IPC）
是否自动刷盘 手动 write() 或 fsync() 自动回写脏页，也可手动 msync()
页缓存利用 显式与页缓存交互 完全复用页缓存机制
API 灵活性 更简单通用，适合各种 I/O 场景 需自己处理内存访问边界，不适合小文件或频繁更改
异常控制性 出错能立即检查 read()/write() 的返回值 出错常通过 SIGSEGV，需注意非法地址访问

适用场景对比

使用场景 推荐方式 理由
小文件 / 简单顺序 I/O read/write 简单可靠，易于控制
访问大文件 / 只读文件 mmap 支持随机访问、零拷贝、系统自动优化
内存共享 / IPC mmap 可用于多进程共享内存（匿名或文件映射）
多次频繁小量 I/O read/write mmap 对频繁小数据访问反而不划算
显式刷盘需求 write/fsync 明确控制写入时机更可靠

示例代码

#include <fcntl.h>
#include <sys/mman.h>
#include <unistd.h>
#include <iostream>

int main() {
    int fd = open("example.txt", O_RDWR);
    size_t length = lseek(fd, 0, SEEK_END);

    char* data = (char*)mmap(nullptr, length, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
    if (data == MAP_FAILED) {
        perror("mmap");
        return 1;
    }

    std::cout << "File content: " << std::string(data, length) << std::endl;

    data[0] = 'H'; // 修改映射区域会影响文件（MAP_SHARED）

    munmap(data, length);
    close(fd);
    return 0;
}

可能的风险和注意事项

  • 安全性：非法地址访问可能导致段错误（SIGSEGV）
  • 同步性：需要调用 msync 来确保数据同步到磁盘
  • 资源泄漏：忘记 munmap 会造成内存泄漏
  • 跨平台问题：mmap 是 POSIX 标准，Windows 上需使用 MapViewOfFile 等接口

内存映射区域在哪

进程虚拟地址空间中的用户区：

+-------------------------+
|      栈 Stack           |  <--- 高地址
|-------------------------|
|      空间 (可能是库)    |
|-------------------------|
|      堆 Heap            |  <--- malloc/new分配从低地址往高地址扩展
|-------------------------|
|   BSS（未初始化全局变量）|
|-------------------------|
| Data（已初始化全局/静态）|
|-------------------------|
| Text（代码区）          |  <--- 低地址
+-------------------------+

内存映射（mmap）一般放在用户空间的堆和栈之间，也就是图中“空间 (可能是库)”这一块区域。它通常包含：

  • 动态链接库（共享库）的映射区；
  • 通过 mmap 系统调用映射的文件或匿名内存区域。

简单说，内存映射区域位于堆的上方，栈的下方（高地址空间），用于加载共享库和映射文件。

posted @ 2025-05-27 20:09  _Sylvan  阅读(185)  评论(0)    收藏  举报