臭咸鱼

摘要： 知识蒸馏就是Knowledge Distillation。 Knowledge Distillation：https://arxiv.org/abs/1503.02531 Do Deep Nets Really Need to be Deep?：https://arxiv.org/abs/1312. 阅读全文

摘要： Motivation 网络剪枝（Network Pruning）就是删除一个较大网络中的一些weight或neuron得到一个更小的网络。 我们相信，通常情况下我们训练出的神经网络是over-parameterized，即其中存在很多weight或neuron是没有用的(比如有些neuron的输出总 阅读全文

摘要： 本文为作者学习李宏毅机器学习课程时参照样例完成homework6的记录。 代码仓库：chouxianyu/LHY_ML2020_Codes，里面除了代码还有数据、PPT、笔记等资源喔~ 任务描述 选择一个Proxy Network实现Black Box Attack，通过FGSM(Fast Grad 阅读全文

摘要： What is Defense 有人说模型容易被攻破是因为过拟合，但其实并不是，因为weight regularization、dropout、model ensemble都不能抵挡Adversarial Attack，并且Attack可以攻击多个model。 Defense分为两类： Passiv 阅读全文

摘要： Universal Adversarial Attack Attack可以是分别为每个输入$x^0$找到对应的攻击信号$\Delta x$，还可以是找到一个适用于所有输入的攻击信号$\Delta x$，这就是Universal Adversarial Attack，详见：Universal adve 阅读全文

摘要： Motivation 我们希望我们的模型不仅仅是在大多数情况下可用的，还希望它能够应对来自外界的“攻击”，特别是在垃圾邮件分类、恶意软件检测、网络入侵检测等任务中。 这个领域为对抗攻击与防御（Adversarial Attack and Defense），目前攻击是比较容易的而防御比较困难。 Wha 阅读全文

摘要： 本文为作者学习李宏毅机器学习课程时参照样例完成homework5的记录。 代码仓库：chouxianyu/LHY_ML2020_Codes，里面除了代码还有数据、PPT、笔记等资源喔~ 任务描述 在homework3中我们通过CNN实现了食物图片分类，详见我之前的文章《李宏毅机器学习课程笔记-7.4 阅读全文

摘要： 模型无关的局部解释（Local Interpretable Model-Agnostic Explanations，LIME）指使用一个Interpretable Model拟合一个Uninterpretable Model的局部，比如使用Linear Model或者Decision Tree模拟N 阅读全文

摘要： 假定在图片分类任务中，Global Explanation要求机器说明它认为一个类别(比如“cat”)是什么样子，而非针对一张图片进行解释。 Activation maximization 在李宏毅机器学习课程笔记-7.2CNN学到了什么一文中，我们已讲过Activation maximizatio 阅读全文

摘要： 假定在图片分类任务中有一张图片，Local Explanation则要求机器说明为什么它认为这张图片是某个类别(比如“cat”)。 Explainable AI(Local Explanation)的目标是，知道每个component对于最终结果的重要性。我们可以通过remove或者modify其中 阅读全文

摘要： Explainable AI是什么 我们希望，机器不仅要知道“是什么”还要知道“为什么”，或者说机器不仅要给出答案还要给出explanation。 Explanation可以分为两类： Local Explanation 假定在图片分类任务中有一张图片，要求机器说明为什么它认为这张图片是某个类别(比 阅读全文

摘要： Smoothness假设 Smoothness假设的定义 基于Smoothness假设的半监督学习的基本思路是“近朱者赤近墨者黑”，即相似的$x$具有相同的$\hat y$，其具体定义为： $x$的分布不平均，在某些地方(high density region)很集中，在某些地方很分散 如果$x1$ 阅读全文

摘要： 按照“非黑即白”的思路，假设类别之间的boundary周围的data是很少的，即假设不同类别数据之间应该有1个很明显的boundary。 Self-training 最简单的基于Low-density Separation假设的半监督学习是Self-training。 使用有标签的数据训练1个模型$ 阅读全文

摘要： 生成模型中的半监督学习：Semi-supervised Learning for Generative Model 有监督生成模型 有监督生成模型：Supervised Generative Model 如下图所示，在有监督生成模型中，得到$P(C_1),P(C_2),\mu1,\mu2,\Sigm 阅读全文

摘要： 有监督学习(Supervised Learning) 训练集数据为${ (xr,\ \hat yr) }_^R$，其中每组数据包括算法的输入与输出(标签)。 半监督学习(Semi-supervised Learning) 训练集数据为${ (xr,\ \hat yr) }R+{ xu}^{U+R}$ 阅读全文