DPDK 使用 Hugepages 的核心原理

DPDK 使用 Hugepages 的核心原理是利用更大的内存页来大幅提升数据包处理性能，其配置方法则分为内核引导时预留和运行时预留两种路径。

🚀 为什么 DPDK 需要 Hugepages（原理）

DPDK 追求的是在用户态直接、高效地处理网络数据包，这要求尽可能减少内存访问的延迟和不确定性。使用 Hugepages 主要出于以下两个原因：

1. 减少 TLB Miss，提升地址转换效率：CPU 内部有一个缓存叫 TLB（Translation Lookaside Buffer），用于加速虚拟地址到物理地址的转换。传统 4KB 小页需要海量的页表项，很容易导致 TLB 缓存不命中，从而增加访存延迟。使用 2MB 或 1GB 的大页，可以用更少的页表项覆盖同样大小的内存，大幅降低 TLB Miss 率，让地址转换更快。

2. 确保内存的连续性与物理地址稳定性：Hugepages 是不可交换（unswappable） 的连续物理内存块。这确保了 DPDK 的数据包缓冲区（mbuf）不会因为操作系统的内存管理而被换出或迁移，并且可以被直接用于 DMA（直接内存访问），让网卡绕过 CPU 直接将数据包写入用户态内存。

⚙️ 如何配置 Hugepages（方法）

配置 Hugepages 主要有两种方式，建议优先选择内核引导时配置，这样可以有效避免系统运行一段时间后内存碎片化导致无法分配大块连续物理内存的问题。

方式一：内核引导时配置（推荐）

这种方式在系统启动时就预留好内存，是生产环境的首选。

1. 编辑 GRUB 配置：修改 /etc/default/grub 文件，在 GRUB_CMDLINE_LINUX 行中添加参数。

   • 对于 2MB 大页：

     bash

     GRUB_CMDLINE_LINUX="... default_hugepagesz=2M hugepagesz=2M hugepages=1024"

     hugepages=1024 表示预留 1024 个 2MB 的页，即 2GB 内存。

   • 对于 1GB 大页（需要 CPU 支持，可通过 cat /proc/cpuinfo | grep pdpe1gb 检查）：

     bash

     GRUB_CMDLINE_LINUX="... default_hugepagesz=1G hugepagesz=1G hugepages=8"

     hugepages=8 表示预留 8 个 1GB 的页，即 8GB 内存。

2. 更新 GRUB 并重启：执行 grub2-mkconfig 或 grub-mkconfig 命令生成新的启动配置，然后重启系统使配置生效。

3. 挂载 hugetlbfs：DPDK 需要通过 hugetlbfs 文件系统来使用预留的大页。可以手动挂载，也可以写入 /etc/fstab 实现永久挂载。

   • 手动挂载：

     bash

     mkdir -p /mnt/huge
     mount -t hugetlbfs nodev /mnt/huge

   • 写入 /etc/fstab（推荐）：

     bash

     # /etc/fstab
     nodev /mnt/huge hugetlbfs defaults 0 0
     # 对于 1GB 大页，需要指定页大小
     nodev /mnt/huge_1GB hugetlbfs pagesize=1GB 0 0

方式二：运行时动态配置

如果无法重启系统，可以动态预留 2MB 大页（注意：1GB 大页通常必须在引导时配置）。

1. 预留内存：通过 sysfs 接口写入需要的大页数量。

   • 非 NUMA 系统：

     bash

     echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

   • NUMA 系统（需要为每个 NUMA 节点分别预留，建议使用 numactl -H 查看节点数）：

     bash

     echo 1024 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
     echo 1024 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages

2. 挂载 hugetlbfs：与方式一相同。

 

💡 关键补充与注意事项

• DPDK 如何感知大页：DPDK 的 EAL（环境抽象层）在启动时，会扫描挂载点（如 /mnt/huge）下的文件来映射大页内存。如果你使用 --in-memory 参数，DPDK 会绕过文件系统直接分配，但这会牺牲多进程共享的能力。

• 非 Root 用户运行：Hugepages 的预留（echo 命令或引导配置）必须由 Root 用户完成。但挂载点可以通过 dpdk-hugepages.py 脚本或手动设置权限，让普通用户也能运行 DPDK 程序。

• NUMA 感知：在多路服务器上，务必为每个 NUMA 节点都预留大页，否则 DPDK 可能因内存分配失败而无法启动。

• 文件描述符限制：如果使用的 2MB 大页数量非常多（例如超过 512 个），可能会触及系统的文件打开数限制，需要相应调整 ulimit -n 或 /etc/security/limits.conf。