【阅读笔记】自注意力和混合特征名词解释

引言

子带变换特征

• 将原始信号分解成不同频带的子信号

• 基本原理是利用一组带通滤波器将信号分割成若干个子频带

• 也可采用离散小波变换，利用小波基函数将信号分解成不同尺度的子信号

• 以便在不同的尺度上分析信号或图像的特性

• 和池化（pooling）

  • 同

    • 对信号进行降采样

    • 可降低特征维数

  • 异

    • 池化是直接对特征图进行降采样，只考虑空间信息

    • 子带变换特征是先将信号分解成子信号，再降采样。还考虑了频谱信息

技术路线

自注意力机制

• 在transformer模型中使用的注意力机制，允许模型在输入序列的不同部分之间建立全局依赖关系

• 传统注意力机制

  • 计算输入序列和查询向量之间的注意力权重

  • 然后将权重与输入元素相加得到新向量

• 自注意力机制

  • 计算输入序列内部元素之间的注意力权重

• 本文通过自注意力机制试图找到特征图的自相关性

损失函数

• 又称代价函数

• 衡量模型预测值与真实值之间的差异程度的函数

• loss function越小，模型预测越准确

• 常用函数

  • 均方误差

  • 交叉熵

  • 平方根误差

  • 平均绝对误差

sigmoid激活函数

• 又称logistic函数

• 常用的非线性激活函数，单调递增，饱和性趋于1/0

• 梯度平滑，使模型训练过程更加稳定

• 但是梯度->0时，会导致梯度消失

分类器

• 通常分为两类

• 传统分类器

  • GMM

  • SVM

  • 线性判别分析LDA

• 基于深度学习网络的分类器

  • CNN

  • RNN递归神经网络

  • DNN深度神经网络