贝叶斯深度学习-概述

一、背景

1.1 深度神经网络

深度神经网络是连接主义系统，通过它通过学习例子来完成任务，而不需要事先了解这些任务。它们可以很容易地扩展到数百万个数据点，并且可以通过随机梯度下降进行优化。

CNN是DNN的变体，能够适应各种非线性数据点。起始层学习更简单的特征，如边和角，后续层学习复杂的特征，如颜色，纹理等。此外，较高的神经元具有较大的感受野，构建在起始层上。然而，与多层感知器不同，权重共享是卷积神经网络背后的主要思想。

1.2 问题

CNN通过反向传播，根据网络权重计算损失梯度。而反向传播的超参数包括学习速率，动量，权重衰减等。找到最佳值所需的时间与数据大小成比例。

然而对于使用反向传播训练的网络，仅在网络中实现权重的点估计，从而导致对正确的类别、预测或行动做出过于自信的决定。（由于输出层的softmax函数可以实现概率得分，它压缩了一个类的输出概率得分，并使另一个类的输出概率得分最大化）。这样的网络能较好地拟合训练数据，但不能预测新数据-即产生了对现有样本的过度拟合。

目前主要通过正则化来消除过拟合，主要包括early stopping、权值衰减、L1- L2正则化，以及最流行和有效的dropout。但是，当前神经网络架构中缺少预测中的不确定性度量。

二、概率机器学习和不确定性

机器学习训练模型模型从观察到的数据（训练数据）中学习一些模式和假设，并对未观察到的数据（测试数据）进行推断。然而，由于输入数据噪声、感官噪声、测量误差、非最优超参数设置等诸多原因，该模型对预测具有不确定性。

从概率论的角度来看，用单点估计作为权重来建立任何分类都是不合理的，而且神经网络无法正确评估训练数据中的不确定性。机器学习中的概率模型指出，所有形式的不确定性不可能是一个真实的值，而更像是一个概率值，并使用概率论来回答一切问题。概率分布用于建模学习、不确定性和未观测状态。在观察数据之前，先定义一个先验概率分布，然后进行学习，一旦观察到数据，该分布就转换为后验分布。

2.1 不确定性类型

网络中的不确定性是衡量模型对其预测确定程度的指标。在贝叶斯模型中，存在两种主要的不确定性类型：偶然不确定性（Aleatoric uncertainty）和认知不确定性（Epistemic uncertainty）。

偶然不确定性测量观测中固有的噪声。这种不确定性存在于数据采集方法中，如传感器噪声或沿数据集均匀分布的运动噪声。即使收集了更多的数据，也不能减少这种不确定性。

偶然不确定性可以进一步分为同方差不确定性（Task-dependant or Homoscedastic uncertainty）和异方差不确定性（Data-dependant or Heteroscedastic uncertainty）

· 异方差不确定性，取决于输入数据，并预测为模型输出。其中一些输入可能具有比其他输入更多的噪声输出。异方差的不确定性尤为重要，可以防止模型输出非常自信的决策。

· 同方差不确定性，不取决于输入数据。它不是模型输出，而是一个对所有输入数据保持不变并且在不同任务之间变化的数量。因此，它可以被描述为任务相关的不确定性。

认知不确定性代表了模型本身造成的不确定性。给定更多数据可以减少这种不确定性，并且通常称为模型不确定性。

图中说明了语义分割中的偶然和认知不确定性之间的差异。偶然不确定性捕获对象边界时，标签是有噪声的；而当模型不熟悉人行道时，以及相应的增加的认知不确定性，就导致了分割模型失败的情况。

三、贝叶斯深度学习

3.1 介绍

贝叶斯方法可以用于学习神经网络权重的概率分布。将神经网络中的wi 和 b 由确定的值变成分布（distributions）。具体而言，为弥补反向传播的不足，通过在模型参数或模型输出上放置概率分布来估计。在权重上放置一个先验分布，然后尝试捕获这些权重在给定数据的情况下变化多少来模拟认知不确定性。该方法不是训练单个网络，而是训练网络集合，其中每个网络的权重来自共享的、已学习的概率分布。