【神经网络架构搜索】NAS-Bench-101: 可复现神经网络搜索

【GiantPandaCV导语】Google Brain提出的NAS领域的Benchmark,是当时第一个公开的网络架构数据集，用于研究神经网络架构搜索。本文首发GiantPandaCV，请不要随意转载。

Title

0. 摘要

神经网络搜索近年来取得进步巨大，但是由于其需要巨大的计算资源，导致很难去复现实验。本文目标是通过引入NAS-Bench-101的方法来缓解以上问题。在NAS-Bench-101中，设计了一个紧凑且丰富的搜索空间。通过图同构的方式来区别423k个网络架构。

在CIFAR10数据集上多次训练以上所有网络，并得到验证集上的结果。这使得研究人员可以通过查询预先计算的数据集，以毫秒为单位评估各种模型的质量。通过分析数据集作为一个整体，并通过对一系列架构优化算法进行基准测试来证明它的实用性。

1. 介绍

简单来说，NAS-Bench-101就是谷歌设计了一个搜索空间，在搜索空间中穷尽枚举了大约5百万个子网络。在CIFAR10数据集上进行训练，在验证集上测试。将子网的结构以及对应的验证集精度记录下来，形成一个表，研究人员使用的时候只需要通过查表就可以得到对应的验证集精度，这样就不需要重新训练和测试，降低了对计算资源的依赖。

为了摸清这篇工作内容，我们需要搞清楚几个关键点：

搜索空间，如何设计搜索空间的？
训练策略，采用了什么训练策略？
使用方法，研究人员如何使用NAS-bench-101？
潜在方向，使用nas-bench-101有哪些潜在的研究方向？

2. 搜索空间

NasBench101中设计的搜索空间是基于cell的搜索空间，如图所示，网络的初始层（conv stem）是由3x3卷积和128的输出通道组成的主干，每个单元堆叠三次，然后进行下采样，使用最大池化将通道数和空间分辨率减半，最后使用一个global average pooling和一个softmax层得到分类的概率。

网络骨架构成

每个cell内部有V个节点，每个节点包括L个标签，分别代表相应的操作。其中in和out代表输入的tensor和输出的tensor。该有向无环图的搜索空间与V和L呈指数关系增长，为了控制搜索空间的大小，提出了以下几个约束：

L=3，包括3x3卷积、1x1卷积、3x3 maxpool
\(V\le 7\)
边的最大个数设置为9

cell内部示意图

单元编码方法：Nas-Bench-101中使用了一个通用的编码方式，有7个顶点的有向无环图，使用7x7的上三角二进制矩阵和一个包含5个标签的列表（分别代表5个中间节点的op）

区分同构的cell 在以上搜索空间中，存在不同的邻接矩阵或者不同标签，但计算等价的模型，这就称为同构的cell

两个同构的cell

从上图得知，两个cell虽然编码不相同，但实际的计算过程是相同的。所以采用迭代图哈希算法来快速确定两个cell是否是同构的。

经过去掉不符合要求和同构的网络以后，剩下了大概423k个子网络。

此外，还有一个小问题：通道个数的匹配和特征融合方法的选择。Nas-Bench-101进行了认为固定设置，如下图所示：

融合方法

上图中&代表concate操作，+代表addition操作，proj代表1x1卷积。所以具体策略是：将所有指向输出节点的张量concate到一起，将指向其他顶点（非输出节点）的张量add到一起。来自输入顶点的输出张量使用1x1卷积映射，以匹配通道个数的一致性。

3. 训练策略

由于训练策略的不同对最终的实验结果造成的影响非常大，所以要对训练策略、实现细节、超参数选取进行确认。

参数选择：对所有的Nas-bench-101模型选取一组固定的参数，而并不是对每个模型自己设置各自的超参数。而固定的超参数的选择是通过网格搜索50个随机抽样得到的子网络平均精度得到的。

实现细节： 使用和resnet一致的数据增强技术，learning rate使用cosine decay, 使用RMSporp作为优化器。

超参数选择

4. 使用方法

4.1 评价指标

nas-bench-101中使用到了以下几种指标：

训练精度
验证精度
测试精度
训练时间
训练模型参数

4.2 安装环境

从github上clone该项目

git clone https://github.com/google-research/nasbench

进入该项目文件夹

cd nasbench

安装(若当前环境中无tensorflow cpu版本，该步会安装Tensorflow)

pip install -e .

下载数据集：

4个epochs训练的结果（1.95 GB）https://storage.googleapis.com/nasbench/nasbench_full.tfrecord
108个epochs训练结果子集（499MB）https://storage.googleapis.com/nasbench/nasbench_only108.tfrecord

4.3 使用教程

官方提供的demo如下所示：

from absl import app
from nasbench import api

# Load the data from file (this will take some time)
nasbench = api.NASBench('/home/pdluser/download/nasbench_only108.tfrecord')


INPUT = 'input'
OUTPUT = 'output'
CONV1X1 = 'conv1x1-bn-relu'
CONV3X3 = 'conv3x3-bn-relu'
MAXPOOL3X3 = 'maxpool3x3'

# Create an Inception-like module (5x5 convolution replaced with two 3x3
# convolutions).
model_spec = api.ModelSpec(
    # Adjacency matrix of the module
    matrix=[[0, 1, 1, 1, 0, 1, 0],    # input layer
            [0, 0, 0, 0, 0, 0, 1],    # 1x1 conv
            [0, 0, 0, 0, 0, 0, 1],    # 3x3 conv
            [0, 0, 0, 0, 1, 0, 0],    # 5x5 conv (replaced by two 3x3's)
            [0, 0, 0, 0, 0, 0, 1],    # 5x5 conv (replaced by two 3x3's)
            [0, 0, 0, 0, 0, 0, 1],    # 3x3 max-pool
            [0, 0, 0, 0, 0, 0, 0]],   # output layer
    # Operations at the vertices of the module, matches order of matrix
    ops=[INPUT, CONV1X1, CONV3X3, CONV3X3, CONV3X3, MAXPOOL3X3, OUTPUT])

# Query this model from dataset, returns a dictionary containing the metrics
# associated with this model.
data = nasbench.query(model_spec) # 根据配置查询结果

result = nasbench.get_budget_counters() # 返回训练时间，epochs

print("data:", data)
print("result:", result)

fixed_metrics, computed_metrics = nasbench.get_metrics_from_spec(model_spec)
# 每个epoch结果
for epochs in nasbench.valid_epochs:
    for repeat_index in range(len(computed_metrics[epochs])):
        data_point = computed_metrics[epochs][repeat_index] # 重复次数 每个epoch重复的结果

输出结果：

result