论文解读（KDSSDA）《Knowledge distillation for semi-supervised domain adaptation》

Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ]

论文信息

论文标题：Knowledge distillation for semi-supervised domain adaptation
论文作者：Mauricio Orbes-Arteaga, Jorge Cardoso
论文来源：2019 aRxiv
论文地址：download
论文代码：download
视屏讲解：click

1 介绍 

　　动机：在注释数据中缺乏足够的数据变化的情况下，深度神经网络（DNNs）在训练过程中倾向于过拟合。因此，它们在来自看不见来源的数据上的性能明显低于来自相同来源的训练数据的数据上的性能。半监督域自适应方法可以通过将网络调整到新的目标域来缓解这些问题，而不需要从这些域的注释数据。对抗性领域自适应（ADA）方法是一种流行的选择，旨在训练网络，使生成的特征是领域不可知的。

2 方法

　　Step1：源域预训练教师模型

　　　　$\begin{array}{l}\underset{f \in F_{s}}{\text{min}}\;\frac{1}{N} \sum_{x_{i} \in \mathbf{X}_{\mathbf{s}}} l\left(y_{i}, \sigma\left(f_{s}\left(x_{i}\right)\right)\right) \\{[\sigma(z)]_{k}=\frac{\mathrm{e}^{[z]_{k}}}{\sum_{l=1}^{K} \mathrm{e}^{[z]_{l}}}}\end{array}$

　　Step2：知识蒸馏

　　　　$\begin{aligned}\mathbf{X}_{U}=\{ & \left.\left(x_{i}, y_{i}\right) \mid x_{i} \in \mathbf{X}_{s}, y_{i}=f_{s}\left(x_{i}\right), 1 \leq i \leq N\right\} \cup  \left\{\left(x_{i}, y_{i}\right) \mid x_{i} \in \mathbf{X}_{t}, y_{i}=f_{s}\left(x_{i}\right), 1 \leq i \leq M\right\}\end{aligned}$

　　　　$\underset{f \in F_{t}}{\arg \min } \frac{1}{(N+M)} \sum_{x_{i} \in \mathbf{X}_{\mathbf{U}}} l\left(\sigma\left(T^{-1} f_{s}\left(x_{i}\right)\right), \sigma\left(f_{t}\left(x_{i}\right)\right)\right)$

3 实验

　　略