ONNX-开放式神经网络交换格式

以下内容根据个人理解整理而成,如有错误,欢迎指出,不胜感激。

1. ONNX简介

ONNX是一种针对机器学习所设计的开放式的文件格式,用于存储训练好的模型。它使得不同的人工智能框架(如Pytorch, MXNet)可以采用相同格式存储模型数据并交互。 ONNX的规范及代码主要由微软,亚马逊 ,Facebook 和 IBM 等公司共同开发,以开放源代码的方式托管在Github上。目前官方支持加载ONNX模型并进行推理的深度学习框架有: Caffe2, PyTorch, MXNet,ML.NET,TensorRT 和 Microsoft CNTK,并且 TensorFlow 也非官方的支持ONNX。---维基百科

ONNX全称是Open Neural Network Exchange,不同深度学习框架可以将模型保存为ONNX格式,从而实现模型在不同框架之间的转换。
ONNX中,每一个计算流图都定义为由节点组成的列表,每个节点是一个OP,可能有一个或多个输入与输出,并由这些节点构建有向无环图。
目前,ONNX已支持当前主要的各种深度学习框架,有些框架如PyTorch是官方集成了ONNX,有些需要第三方支持,即便像darknet这种小众的框架,也可以手动构建ONNX图来将模型转为ONNX格式。

我们可以使用pip或在conda环境中使用conda来获取ONNX,具体参见ONNX的github

2. ONNX使用

ONNX是一个开放式规范,由以下组件组成:

  • 可扩展计算图模型
  • 一系列内置运算单元(OP)
  • 标准数据类型

将一个模型转为ONNX格式,主要是构造计算流图,在官方github的example目录下有很多使用示例,这里列举出最常用的几个方法。

在ONNX中,数据的存储使用的是Google的Protobuf序列化框架,数据结构主要有以下六种,定义在onnx/onnx.in.proto文件内:

TensorProto
ValueInfoProto
AttributeProto

NodeProto
ModelProto
GraphProto

构造上述数据类型的方法定义在onnx/helper.py文件内,具体如下:

helper.make_tensor()            
helper.make_tensor_value_info()  
helper.make_attribute()         

helper.make_node()  
helper.make_model()   
helper.make_graph()

另外两个比较常用的方法是对构造完的模型的检查和保存,分别定义在onnx/checker.pyonnx/__init__.py中:

onnx.checker.check_model()
onnx.save()

下面给出上述主要方法的定义,具体使用示例可参考官方example
helper.make_tensor()

def make_tensor(
        name,       # tensor名称(string)
        data_type,  # tensor内数据类型(TensorProto.dataType)
        dims,       # tensor的shape(list of int)
        vals,       # tensor的值
        raw=False   # 当为false时,该方法会根据data_type类型来存储vals,当为true时,该方法会使用raw_data来存储vals(在该方法中指的是bytes类型) -> 此处理解存疑(proto field ?)
):  # type: (...) -> TensorProto

helper.make_tensor_value_info()

# 通常和make_tensor()一起使用,用于创建一个tensor的信息
def make_tensor_value_info(
        name,                   # tensor名称(string)
        elem_type,              # tensor中元素的类型(TensorProto.dataType)
        shape,                  # tensor的shape(list of int)
        doc_string="",          # 可选参数:对该tensor的描述
        shape_denotation=None,  # 可选参数:对shape中每个维度的描述(list of string)
):  # type: (...) -> ValueInfoProto

helper.make_attribute()

# 该方法是make_node()的内部调用方法,当我们通过**kwargs传入一系列op的属性时,最终都会调用该方法转化为键值对,因此可以直接调用该方法先构造键值对,然后将构造结果传给**kwargss
def make_attribute(
        key,             
        value,           
        doc_string=None  
):  # type: (...) -> AttributeProto

helper.make_node()

def make_node(
        op_type,          # 要构造的op的名字(string) -> 相当于是将一个op封装为一个节点
        inputs,           # 输入当前节点的节点名称(list of string)  
        outputs,          # 当前节点输出的名称(list of string)  -> 当节点只有一个输出时,节点名称就相当于outputs
        name=None,        # 可选参数:当前节点的名称,作为索引该节点的唯一标识(string)
        doc_string=None,  # 可选参数:为当前节点添加描述(string)
        domain=None,      # 可选参数:为当前节点添加一个领域?(string)
        **kwargs          # 当前节点的属性(dict or 类似普通参数的传入),不同类型的op具有不同的属性,具体参数需要看构造的op类型,然后参考官方op文档所给的属性选项
):  # type: (...) -> NodeProto

helper.make_graph()

def make_graph(
    nodes,             # 节点的列表(list of node)
    name,              # graph的名称(string)
    inputs,            # 输入网络的tensor的相关信息(list of ValueInfoProto),包括网络每层的权重等信息 -> 由make_tensor_value_info()构造
    outputs,           # 网络输出tensor的相关信息(list of ValueInfoProto) -> 由make_tensor_value_info()构造
    initializer=None,  # 可选参数:图中每个节点的初始化权值(list of TensorProto) -> 由make_tensor()构造
    doc_string=None,   # 可选参数:对graph的描述
    value_info=[],     # 可选参数:存放中间层产生的输出数据的信息(list of ValueInfoProto) -> 由make_tensor_value_info()构造
):  # type: (...) -> GraphProto

helper.make_model()

def make_model(
        graph, 
        **kwargs
):  # type: (GraphProto, **Any) -> ModelProto

3. 总结

总结一下构造一个onnx模型的具体流程:

  1. 根据自己的网络结构调用make_node()来创建相关节点,节点的inputs和outputs参数决定了后续graph的连接情况,节点的权值和信息通过调用make_tensor()make_tensor_value_info()来创建,它们和节点的联系在于节点的name
  2. 上述三个方法构造的结构分别对应make_graph()中的三个参数,具体如下所示:
    • nodes: make_node()
    • inputs: make_tensor_value_info()
    • initializer: make_tensor()
  3. 最后检查和保存模型即可

Reference

开源一年多的模型交换格式ONNX,已经一统框架江湖了?
ONNX github
ONNX example
ONNX op

posted @ 2019-10-25 08:54  vh_pg  阅读(4392)  评论(0编辑  收藏  举报