RDMA——libibverbs 代码分析（1）

下载libibverbs最新代码，https://downloads.openfabrics.org/verbs/README.html 为1.2.0版本。后面开始逐步分析libibverbs源码。

1、ibv_get_device_list：

   该函数具体的实现在libibverbs-1.2.0/src/devices.c文件中。

struct ibv_device **__ibv_get_device_list(int *num)
{
……
    pthread_once(&device_list_once, count_devices); //count_devices这个函数在本进程中仅执行一次。具体解析见1.1
……
    l = calloc(num_devices + 1, sizeof (struct ibv_device *)); //分配n个长度为size的连续空间，并将连续空间清零
……

    for (i = 0; i < num_devices; ++i)
        l[i] = device_list[i];
    if (num)
        *num = num_devices;

    return l;
}

1.1 pthread_once：

    在多线程环境中，有些事仅需要执行一次。通常当初始化应用程序时，可以比较容易地将其放在main函数中。但当你写一个库时，就不能在main里面初始化了，你可以用静态初始化，但使用一次初始化（pthread_once）会比较容易些。
int pthread_once(pthread_once_t *once_control, void (*init_routine) (void))；
功能：本函数使用初值为PTHREAD_ONCE_INIT的once_control变量保证init_routine()函数在本进程执行序列中仅执行一次。
    Linux Threads使用互斥锁和条件变量保证由pthread_once()指定的函数执行且仅执行一次，而once_control表示是否执行过。如果once_control的初值不是PTHREAD_ONCE_INIT（Linux Threads定义为0），pthread_once() 的行为就会不正常。在LinuxThreads中，实际"一次性函数"的执行状态有三种：NEVER（0）、IN_PROGRESS（1）、DONE （2），如果once初值设为1，则由于所有pthread_once()都必须等待其中一个激发"已执行一次"信号，因此所有pthread_once ()都会陷入永久的等待中；如果设为2，则表示该函数已执行过一次，从而所有pthread_once()都会立即返回0。

    接着继续分析，重点函数count_devices，count_devices->ibverbs_init(init.c)。在ibverbs_init函数中，会先获取系统路径一般为/sys，然后检查内核ABI版本，对于低于或高于某个ABI版本，ibverbs就不支持了。关于ABI可以参考https://blog.csdn.net/juS3Ve/article/details/82782987，具体说ABI与cpu架构和OS有关。

    接下来会检查资源限制，如下：

static void check_memlock_limit(void)
{
    struct rlimit rlim;

    if (!geteuid())
        return;

    if (getrlimit(RLIMIT_MEMLOCK, &rlim)) {    //进程可锁定在内存中的最大数据量，字节为单位。
        fprintf(stderr, PFX "Warning: getrlimit(RLIMIT_MEMLOCK) failed.");
        return;
    }

    if (rlim.rlim_cur <= 32768)
        fprintf(stderr, PFX "Warning: RLIMIT_MEMLOCK is %lu bytes.\n"
            "    This will severely limit memory registrations.\n",
            rlim.rlim_cur);
}

    这里要求进程中可锁定在内存中的最大数据量，软限制要大于32K。否则会影响到内存注册。在使用时，可以在系统上设置ulimit取消限制。

    接下来读取配置文件调用函数read_config()，该函数会从/sysocnfdir/libibverbs.d目录下读取配置文件，在我的系统中配置文件路径为/etc/libibverbs.d，在这个目录下内容如下：

linux-MgXfWk:/etc/libibverbs.d # ls
bnxt_re.driver  cxgb4.driver      hns.driver    ipathverbs.driver  mlx5.driver   nes.driver     qedr.driver  vmw_pvrdma.driver
cxgb3.driver    hfi1verbs.driver  i40iw.driver  mlx4.driver        mthca.driver  ocrdma.driver  rxe.driver
linux-MgXfWk:/etc/libibverbs.d # cat cxgb4.driver
driver cxgb4
linux-MgXfWk:/etc/libibverbs.d # cat mlx5.driver
driver mlx5

    从这些文件中读取driver名字，然后将他们加入到一个链表中，链表名称为driver_name_list。

    然后是调用find_sysfs_devs函数，获取/sys/class/infiniband_verbs目录下的设备文件，查看内核代码，在uverbs_main.c中，会创建对应的设备。

那么现在的问题是：

    在find_sysfs_devs函数中，会去查找sys/class/infiniband_verbs目录下的设备文件，那么这些文件是来自于哪里，是如何创建的？接下来我们来看一下，infiniband的内核代码，在内核代码中的路径为./drivers/infinniband/core/uverbs_main.c，从这个文件看起。

    这个文件里有一个module_init函数，这个是模块被加载后第一个调用的模块，对应的初始化函数为ib_uverbs_init。查找编译文件，可以查看到，这个模块的名字为ib_uverbs.ko。当我们执行insmod ib_uverbs.ko时，就会调用ib_uverbs_init函数。

static int __init ib_uverbs_init(void)

我们看到这个函数，有__init标志，这个标志的意思是：

__init宏告知编译器，将变量或函数放在一个特殊的区域，这个区域定义在vmlinux.lds中。__init将函数放在".init.text"这个代码区中，__initdata将数据放在".init.data"这个数据区中。标记为初始化的函数,表明该函数供在初始化期间使用。在模块装载之后，模块装载就会将初始化函数扔掉。这样可以将该函数占用的内存释放出来。

也就是，这里的初始化函数，会在模块装载后，它使用的内存会被释放。

    首先调用register_chrdev_region，该函数与alloc_chrdev_region函数一样都是向系统申请设备号，区别在于，前一个函数用于已知起始设备的设备号的情况，而alloc_chrdev_region用于设备号未知，向系统动态申请未被占用的设备号的情况。

    接下来的内容，我们在下一个节展开。