摘要:快来关注我!入股不亏! 阅读全文
posted @ 2020-04-05 17:22 臭咸鱼 阅读(412) 评论(3) 推荐(0) 编辑
摘要:本文为作者学习李宏毅机器学习课程时参照样例完成homework7的记录。 全部课程PPT、数据和代码下载链接: 链接:https://pan.baidu.com/s/1n_N7aoaNxxwqO03EmV5Bjg 提取码:tpmc 代码仓库:https://github.com/chouxianyu 阅读全文
posted @ 2021-05-08 08:07 臭咸鱼 阅读(10) 评论(0) 推荐(0) 编辑
摘要:动态计算(Dynamic Computation)就是资源充足时就做到最好,资源不足时就减少运算量、先求有再求好(但也不要太差)。 一种方法是训练多个从小到大的model,然后选择合适的模型,这样的问题是需要存储很多个model。 另外一种方法是,训练一个在中间层就可以得到最终结果的model。因为 阅读全文
posted @ 2021-05-07 11:30 臭咸鱼 阅读(9) 评论(0) 推荐(0) 编辑
摘要:调整Network的架构设计(Architecture Design),让它变得只需要比较少的参数,这是在实际操作中最有效的做法。 Low Rank Approximation 如果是Fully Connected Network,前一层和后一层分别有N、M个neuron则需要$N\times M$ 阅读全文
posted @ 2021-05-06 08:28 臭咸鱼 阅读(6) 评论(0) 推荐(0) 编辑
摘要:参数量化就是Parameter Quantization。 用更少的bit表示一个value 比如说本来用32位表示一个weight,现在用16位表示一个weight,这样就缩小了一半。 Weight Clustering 根据weight的值对weight进行聚类,每个类中的weight都用同一个 阅读全文
posted @ 2021-05-05 09:54 臭咸鱼 阅读(9) 评论(0) 推荐(0) 编辑
摘要:知识蒸馏就是Knowledge Distillation。 Knowledge Distillation:https://arxiv.org/abs/1503.02531 Do Deep Nets Really Need to be Deep?:https://arxiv.org/abs/1312. 阅读全文
posted @ 2021-05-04 09:52 臭咸鱼 阅读(6) 评论(0) 推荐(0) 编辑
摘要:Motivation 网络剪枝(Network Pruning)就是删除一个较大网络中的一些weight或neuron得到一个更小的网络。 我们相信,通常情况下我们训练出的神经网络是over-parameterized,即其中存在很多weight或neuron是没有用的(比如有些neuron的输出总 阅读全文
posted @ 2021-05-02 06:36 臭咸鱼 阅读(12) 评论(2) 推荐(1) 编辑
摘要:本文为作者学习李宏毅机器学习课程时参照样例完成homework6的记录。 全部课程PPT、数据和代码下载链接: 链接:https://pan.baidu.com/s/1n_N7aoaNxxwqO03EmV5Bjg 提取码:tpmc 代码仓库:https://github.com/chouxianyu 阅读全文
posted @ 2021-05-01 08:24 臭咸鱼 阅读(10) 评论(0) 推荐(0) 编辑
摘要:What is Defense 有人说模型容易被攻破是因为过拟合,但其实并不是,因为weight regularization、dropout、model ensemble都不能抵挡Adversarial Attack,并且Attack可以攻击多个model。 Defense分为两类: Passiv 阅读全文
posted @ 2021-04-30 10:00 臭咸鱼 阅读(10) 评论(0) 推荐(0) 编辑
摘要:Universal Adversarial Attack Attack可以是分别为每个输入$x^0$找到对应的攻击信号$\Delta x$,还可以是找到一个适用于所有输入的攻击信号$\Delta x$,这就是Universal Adversarial Attack,详见:Universal adve 阅读全文
posted @ 2021-04-28 10:41 臭咸鱼 阅读(7) 评论(0) 推荐(0) 编辑
摘要:Motivation 我们希望我们的模型不仅仅是在大多数情况下可用的,还希望它能够应对来自外界的“攻击”,特别是在垃圾邮件分类、恶意软件检测、网络入侵检测等任务中。 这个领域为对抗攻击与防御(Adversarial Attack and Defense),目前攻击是比较容易的而防御比较困难。 Wha 阅读全文
posted @ 2021-04-27 10:48 臭咸鱼 阅读(20) 评论(0) 推荐(0) 编辑
摘要:本文为作者学习李宏毅机器学习课程时参照样例完成homework5的记录。 全部课程PPT、数据和代码下载链接: 链接:https://pan.baidu.com/s/1n_N7aoaNxxwqO03EmV5Bjg 提取码:tpmc 代码仓库:https://github.com/chouxianyu 阅读全文
posted @ 2021-04-25 10:08 臭咸鱼 阅读(18) 评论(0) 推荐(0) 编辑
摘要:模型无关的局部解释(Local Interpretable Model-Agnostic Explanations,LIME)指使用一个Interpretable Model拟合一个Uninterpretable Model的局部,比如使用Linear Model或者Decision Tree模拟N 阅读全文
posted @ 2021-04-24 10:41 臭咸鱼 阅读(3) 评论(0) 推荐(0) 编辑
摘要:假定在图片分类任务中,Global Explanation要求机器说明它认为一个类别(比如“cat”)是什么样子,而非针对一张图片进行解释。 Activation maximization 在李宏毅机器学习课程笔记-7.2CNN学到了什么一文中,我们已讲过Activation maximizatio 阅读全文
posted @ 2021-04-23 11:38 臭咸鱼 阅读(11) 评论(0) 推荐(0) 编辑
摘要:假定在图片分类任务中有一张图片,Local Explanation则要求机器说明为什么它认为这张图片是某个类别(比如“cat”)。 Explainable AI(Local Explanation)的目标是,知道每个component对于最终结果的重要性。我们可以通过remove或者modify其中 阅读全文
posted @ 2021-04-22 08:43 臭咸鱼 阅读(17) 评论(0) 推荐(0) 编辑
摘要:Explainable AI是什么 我们希望,机器不仅要知道“是什么”还要知道“为什么”,或者说机器不仅要给出答案还要给出explanation。 Explanation可以分为两类: Local Explanation 假定在图片分类任务中有一张图片,要求机器说明为什么它认为这张图片是某个类别(比 阅读全文
posted @ 2021-04-21 09:52 臭咸鱼 阅读(26) 评论(0) 推荐(0) 编辑