摘要：
换了一个 11.8 的 CUDA 版本得以解决。 阅读全文
posted @ 2023-05-05 16:21
MetaZ
阅读(188)
评论(0)
推荐(0)
摘要：
出现上图的错误。 项目配置的 nvcc 路径是 11.3 版本的： 而 nvidia-smi 显示的版本是 11.7 的： 重新安装 11.7 的 Toolkit 之后配置 CMAKE_CUDA_COMPILER 为 11.7 文件夹下的即可： 阅读全文
posted @ 2022-11-23 17:10
MetaZ
阅读(4869)
评论(0)
推荐(1)
摘要：
阅读全文
posted @ 2022-11-09 21:05
MetaZ
阅读(75)
评论(0)
推荐(0)
摘要：
讲了 12 中 Coreset 的检索方法。 一、基于几何的方法 1. Herding 基于贪心原则，缩短 Coreset 与完整数据集在特征空间质心的距离。 2. K-Center Greedy 对于 Coreset $\mathcal{S}$，完整数据集 $\mathcal{T}$，没被选到的点 阅读全文
posted @ 2022-11-07 00:28
MetaZ
阅读(1217)
评论(0)
推荐(0)
摘要：
analysis 通常的 data selection 算法的 bi-level 形式： 写成对数似然的形式也是可以的： （我的评价是：也就少了一步求交叉熵的过程） 如上图：双层优化是 NP-hard 的，因此在 inner-level 里面，我们可以考虑：在一个 coreset 中，不一次把模型优 阅读全文
posted @ 2022-11-07 00:25
MetaZ
阅读(192)
评论(0)
推荐(0)
摘要：
motivation 现存的 data selection 效率不高的主要原因是模型过大，获取数据表征进行数据选择效果并不高（例如大模型进行反向传播本身就比较耗时，想要靠梯度进行数据选择效率是很低的，虽然有了用随最后一个隐藏层的梯度代替整体的梯度的，但是最后一个隐藏层的梯度的代表性尚不可知）； 因此 阅读全文
posted @ 2022-11-06 23:45
MetaZ
阅读(230)
评论(0)
推荐(0)
摘要：
Motivation 训练深度网络存在的问题：需要大量训练数据，进而需要更强的计算资源等。因此如何在减少这些开销（例如使用更小的数据集）的同时，不影响模型的性能成为了一个至关重要的问题； 挑选 coreset 的四大挑战： 选取 sample 的规则尚不明确； 检索的速度要快，否则就失去了加速训练的 阅读全文
posted @ 2022-11-06 23:25
MetaZ
阅读(500)
评论(0)
推荐(0)
摘要：
Analysis Coreset 是带有权重的数据子集，目的是在某个方面模拟完整数据的表现（例如损失函数的梯度，既可以是在训练数据上的损失，也可以是在验证数据上的损失）； 给出优化目标的定义： $w^t$ 是 t 轮得到的 coreset 权重，$X_t$ 是 t 轮得到的 coreset，$L$ 阅读全文
posted @ 2022-11-06 22:57
MetaZ
阅读(393)
评论(0)
推荐(0)
摘要：
Motivation 与 Active Learning 类似，Target Learning 致力于 挑选外卖更“感兴趣”的数据，即人为为更重要的数据添加 bias。例如我们当前的任务目标是增强自动驾驶算法的夜间行驶性能，我们就不能单纯从未标注数据集中抽取多样性大的数据，而是要满足黑夜条件的数据。 阅读全文
posted @ 2022-11-06 22:19
MetaZ
阅读(119)
评论(0)
推荐(0)
摘要：
motivation Active Learning 存在的重要问题：现实数据极度不平衡，有许多类别很少见（rare），又有很多类别是冗余的（redundancy），又有些数据是 OOD 的（out-of-distribution）。 1. 不同的次模函数 提出三种次模函数的变体： 次模条件增长（S 阅读全文
posted @ 2022-11-06 21:23
MetaZ
阅读(237)
评论(0)
推荐(0)
浙公网安备 33010602011771号