随笔分类 - 读论文
摘要：这篇文章基于神经坍缩（Neural Collapse）现象，提出将样本的特征诱导到考虑类别层次的Simplex ETF（Equivalent Tight Frame）。首先，通过类别层次距离构建类别间的相似度。基于相似度，通过特征值分解构造固定的分类器权重向量。同时，增加隐藏层鼓励模型特征与对应类别
阅读全文
摘要：这篇论文提出使用超网络生成专家模型的参数，实现可控的、能根据用户偏好预测的专家模型。 Related works 长尾学习（long-tailed learning）的方法包括重采样、设计损失函数，旨在提高尾部类的表现。然而，这类方法往往假设测试集是类别平衡的，在训练时的操作也是希望学到一个均衡预测
阅读全文
摘要：Background Agent（智能体）指某一个实体，能根据外部的环境，自主做出决策和行动。一个简单的agent示例是一个温度控制器，它能根据环境的温度，自动调节加热器的开关。 \[\begin{aligned}(\text{temperature}>70^{\circ})\wedge(\text
阅读全文
摘要：这篇文章基于样本选择的噪声标签学习（Learning with Noisy labels）方法，通过引入CLIP帮助过滤噪声样本。 Introduction 噪声标签的方法包括： 开发鲁棒的损失函数 使用标签噪声转移矩阵对噪声标签进行建模 然而这些方法在处理高噪声比和复杂的噪声模式（两个图片很相近但
阅读全文
摘要：在工业异常检测任务中，引入并改进扩散模型，通过重建比较实现异常检测。 Background 异常检测（anomaly detection，AD）旨在检测和定位工业产品物体的异常模式，然而： 在某些情况下，为所有异常类型收集足够的异常样本具有挑战性。 由于产品设计和生产流程不断变化，不可能提前收集所有
阅读全文
摘要：相对于R-CNN、Fast RCNN的two-stage目标检测方式，即先在图像中提取候选框，再逐一对图像进行分类。候选框的生成可以是滑动窗口或选择性搜索，再对候选框进行非极大值抑制（一般只在推理时做非极大值抑制，训练时需要这些重复的框）。而YOLO则是one-stage的端到端形式：输入图片，经过
阅读全文
摘要：本篇论文将大语言模型应用在工业异常检测（Industrial Anomaly Detection，IAD）任务。 引言 IAD任务旨在检测和定位工业产品图像中的异常。由于现实世界样本的稀有性和不可预测性，要求模型仅在正常样本上进行训练，并实现对测试时异常样本的检测。 如图1，现有的IAD方法给出异常
阅读全文
摘要：在不平衡半监督学习的设置下，分类器往往会偏向头部类，这种偏置在有标签集合和无标签集合分布不一致的情况下会进一步加剧，也更难生成准确的伪标签。文中提出了一种新的简单的衡量分类器偏好程度的方法：通过分类器对无意义图片的预测结果来度量模型对类别的偏好，同时根据偏好，在伪标签生成阶段和分类测试阶段调整分类器
阅读全文
摘要：在长尾数据集上，本文引入强增强（文中也称为OOD）实现对DeiT的知识蒸馏的改进，实现尾部类分类性能的提升。 动机 ViT相较于CNN缺少归纳偏置，如局部性（一个像素与周围的区域关系更紧密）、平移不变性（图像的主体在图像的任意位置都应该一样重要）。因此需要大型数据集进行预训练。 长尾数据学习的工作有
阅读全文
摘要：问题的背景设置：半监督学习下，labeled data和unlabeled data的分布不同，且存在类别不平衡。文章提出了一种新的伪标签生成方法：DistributionAware Semantics-Oriented (DASO) Pseudo-label。首先生成语义伪标签和线性为标签，然后将
阅读全文
摘要：该论文考虑了一个现实的场景：数据集来自网络爬虫，即存在开集噪声OOD样本和闭集噪声ID样本。作者提出了一个简单但有效的策略：通过新设计的指标区分OOD样本，并对OOD样本软化（soften）弥补与干净样本的差距，该方法称为：Dynamic Softening of Out-of-distributi
阅读全文
摘要：这篇文章设置的问题是：考虑长尾分布的训练集下，对测试集上的OOD样本进行检测。作者在训练集中引入了open set样本学习异常表征，以OCL（Outlier Class Learn）为baseline，训练时引入prototype方法，推理时对logits进行调整校准。 问题背景 DNNs会把OOD
阅读全文
摘要：这篇文章与ICML2022的Open-sampling是同一个作者，方法一模一样，只是问题的场景变为噪声标签学习，Open-sampling是长尾问题的场景，可参见写的这篇blog。 这两篇文章大致做法完全相同：对biased数据集引入开集数据，在每个epoch分配均匀的闭集标签。如果是long t
阅读全文
摘要：在长尾数据中，作者主动加入开集噪声，并按一定比例赋予噪声样本闭集标签，来帮助长尾学习。 引入开集样本训练模型有点像dropout，“破坏”某些模型参数防止尾部类的过拟合 Motivation 长尾学习中的训练数据集分布不平衡的问题，解决方法之一是重采样。重采样主要对于尾部类重复采用，但这种做法往往会
阅读全文
摘要：这篇文章作者写得非常详细，读起来非常舒适。 Contribution: 在long-tailed data中，re-sampling不一定有效。 re-sampling的失败可能是对于不相关的context过拟合导致的，作者设计了实验论证了这一假说。 在single-stage的框架下，作者提出了上
阅读全文
摘要：这篇论文： 提出了prob-and-allocate训练策略，在prob阶段获得样本损失，在allocate阶段分配样本权重。 以[2]的meta-weight-net为Baseline，取名为CurveNet，进行部分改动。 另外，这篇论文提供的源码结构混乱，复现难度较大。主要的工作也是基于met
阅读全文
摘要：文章提供的代码结构简洁，简单易懂，十分适合作为Baseline。省去冗长的数学证明，直接看文章的贡献： 受SVM的hinge loss启发，提出了新的Loss函数鼓励每个类在表征空间有更大的margin。 延迟re-weighting的trick。 在多个数据集，包括情感分类、图像分类进行实验。 M
阅读全文
摘要：用自监督学习MoCO提取表征，然后分布校准（与tailed class 相似的head classes去校准tailed class的分布）。没有开源，没有创新。 Introduction 作者考虑了数据集常见的两个问题：1、部分数据被错误得标注；2、数据呈长尾分布。之前涌现了很多工作分别针对这两个
阅读全文
摘要：背景 Mixup（混合） 定义 对于一个样本\((x_i,y_i)\)，将其与另一个样本\((x_j,y_j)\)混合： \[\begin{aligned} \tilde{x}_i &= \lambda x_i + (1-\lambda)x_j, \\ \tilde{y}_i &= \lambda
阅读全文
摘要：论文“Bi-directional Distribution Alignment for Transductive Zero-Shot Learning”提出Bi-VAEGAN，它以f-VAEGAN-D2为Baseline，进一步发展了TF-VAEGAN通过利用所见数据和反馈模块增强生成的视觉特征思
阅读全文
浙公网安备 33010602011771号