383494 - 博客园

2025年5月2日

NTU ML2023Spring Part2.15 神经网络压缩

摘要：如果我们想把模型运行在资源有限的环境（手表，无人机）上，就需要压缩模型．为什么不直接在云端计算？一个原因是低延迟，另一个是保障隐私．这里不会讨论硬件方面的做法． network pruning 在一个庞大的神经网络里，有些参数和神经元可能在摸鱼．这时我们就可以修剪掉它们．评价一个参数的重要性可以直接阅读全文

posted @ 2025-05-02 20:37 383494 阅读(7) 评论(0) 推荐(0)

NTU ML2023Spring Part2.14 终身学习

摘要：根据使用者的 feedback 更新我们的模型．有一个问题是学完不同 domain 的数据（多个任务）之后会忘了之前学过的内容，但如果把数据混在一起学却能同时学会．这种状况是 catastrophic forgetting，用 catastrophic（灾难性的）来形容足见遗忘的夸张程度．那把之前阅读全文

posted @ 2025-05-02 16:30 383494 阅读(23) 评论(0) 推荐(0)

NTU ML2023Spring Part2.13 reinforcement learning

摘要： title: NTU ML2023Spring Part2.13 Reinforcement Learning date: 2025-05-01 15:45:00+0800 lastmod: 2025-05-02 14:44:00+0800 RL: reinforcement learning，强化阅读全文

posted @ 2025-05-02 14:45 383494 阅读(16) 评论(0) 推荐(0)

2025年5月1日

NTU ML2023Spring Part2.12 领域自适应

摘要： domain shift: 训练资料和测试资料的分布不一样。 domain adaptation 可以看作是 transfer learning 的一种。详见这个视频 domain shift 有很多类型，这里只讨论输入数据分布不一样的情况。记作 source domain 和 target dom 阅读全文

posted @ 2025-05-01 15:43 383494 阅读(17) 评论(0) 推荐(0)

NTU ML2023Spring Part2.11 可解释的 ML 模型

摘要：有时在某些可能带来严重后果的任务（比如医疗，法律、自动驾驶）上，我们不止希望机器学习模型给出一个答案，更希望它给出相应的理由。那能不能直接用更容易解释的模型呢？可以，但问题是效果不好。 interpretable 和 explainable 这两个词经常被混用，前者指它本来不是黑箱，后者指它是黑箱阅读全文

posted @ 2025-05-01 12:43 383494 阅读(14) 评论(0) 推荐(0)

2025年4月20日

矩阵快速幂的常数优化——对角化与 Jordan 分解

摘要：只会无脑写出 \(5 \times 5\)（或者更大）的转移矩阵而不会推式子？还在尝试卡常？本文提供了一种方法在这些情况下优化常数从而能够强行 AC。（其实等价于推式子，但更无脑。）对角化理论给定 \(n \times n\) 方阵 \(A\)，若其可对角化，则可分解为 \(A = PDP^ 阅读全文

posted @ 2025-04-20 15:33 383494 阅读(86) 评论(0) 推荐(1)

2025年4月13日

NTU ML2023Spring Part2.10 来自人类的恶意攻击

摘要： License：CC BY-NC-SA 4.0 同步发表于我的新博客。假设你有一个图像识别的模型，输入图像，输出里面的东西。一般来说输入一张猫的图片，它会识别为猫；但如果给图片里的像素做特定的微小改动（attack），在人眼看不出来变化的情况下可以让机器识别的结果变成其他东西。 attack 按照阅读全文

posted @ 2025-04-13 16:39 383494 阅读(50) 评论(0) 推荐(0)

2025年4月5日

NTU ML2023Spring Part3.6 Diffusion model

摘要： License: CC BY-NC-SA 4.0 上来要做 data augmentation，于是翻了一下 pytorch 的官方文档。发现 torchvision.transforms.v2 更好。 TL;DR We recommending using the torchvision.tran 阅读全文

posted @ 2025-04-05 21:39 383494 阅读(19) 评论(0) 推荐(0)

NTU ML2023Spring Part3.5 transformer

摘要：第一难：安装依赖包时 fairseq 装不上。解决方法：将 pip 降级到 24.1 以下：pip install pip==24.0。第二难：ImportError: cannot import name 'utils' from 'fairseq' (unknown location). 于是阅读全文

posted @ 2025-04-05 08:19 383494 阅读(43) 评论(0) 推荐(0)

NTU ML2023Spring Part2.9 Auto encoder

摘要： License: CC BY-NC-SA 4.0 基本概念类似 self-supervised learning，auto encoder 是一种更古老的不需要资料标注的训练方法。假设你有一堆图片（影像处理的任务），你要训练一个 encoder 和一个 decoder，encoder 读入图片产阅读全文

posted @ 2025-04-05 08:15 383494 阅读(23) 评论(0) 推荐(0)

x383494

公告