摘要: 在不平衡半监督学习的设置下,分类器往往会偏向头部类,这种偏置在有标签集合和无标签集合分布不一致的情况下会进一步加剧,也更难生成准确的伪标签。文中提出了一种新的简单的衡量分类器偏好程度的方法:通过分类器对无意义图片的预测结果来度量模型对类别的偏好,同时根据偏好,在伪标签生成阶段和分类测试阶段调整分类器 阅读全文
posted @ 2024-09-30 17:07 3039442 阅读(217) 评论(0) 推荐(0)
摘要: 以cifar100作为闭集(closed-set)数据集,使用resnet18模型进行训练,然后在常见的开集(out-of-distribution)数据集上进行OOD检测。使用MSP(Maximum Softmax Probability)作为OOD检测的依据。 开集噪声数据集使用gaussian 阅读全文
posted @ 2024-09-28 11:03 3039442 阅读(180) 评论(0) 推荐(0)
摘要: 在长尾数据集上,本文引入强增强(文中也称为OOD)实现对DeiT的知识蒸馏的改进,实现尾部类分类性能的提升。 动机 ViT相较于CNN缺少归纳偏置,如局部性(一个像素与周围的区域关系更紧密)、平移不变性(图像的主体在图像的任意位置都应该一样重要)。因此需要大型数据集进行预训练。 长尾数据学习的工作有 阅读全文
posted @ 2024-09-22 20:48 3039442 阅读(356) 评论(0) 推荐(0)
摘要: 问题的背景设置:半监督学习下,labeled data和unlabeled data的分布不同,且存在类别不平衡。文章提出了一种新的伪标签生成方法:DistributionAware Semantics-Oriented (DASO) Pseudo-label。首先生成语义伪标签和线性为标签,然后将 阅读全文
posted @ 2024-08-09 20:32 3039442 阅读(199) 评论(0) 推荐(0)
摘要: 该论文考虑了一个现实的场景:数据集来自网络爬虫,即存在开集噪声OOD样本和闭集噪声ID样本。作者提出了一个简单但有效的策略:通过新设计的指标区分OOD样本,并对OOD样本软化(soften)弥补与干净样本的差距,该方法称为:Dynamic Softening of Out-of-distributi 阅读全文
posted @ 2024-08-06 19:48 3039442 阅读(160) 评论(0) 推荐(0)
摘要: WebVision数据集介绍 官方下载地址 WebVision数据集常用于开集/闭集噪声学习、长尾噪声学习方法在真实数据集上的评估。根据[2]的统计,干净样本占70%,OOD噪声占25%,ID噪声占5%。 由于数据集本身较大,论文中使用的都是其中很小的一部分,进入下载页面,选择《WebVision 阅读全文
posted @ 2024-08-03 14:45 3039442 阅读(442) 评论(0) 推荐(0)
摘要: 前言 噪声标签学习下的一个任务是:训练集上存在开集噪声和闭集噪声;然后在测试集上对闭集样本进行分类。 训练集中被加入的开集样本,会被均匀得打上闭集样本的标签充当开集噪声;而闭集噪声的设置与一般的噪声标签学习一致,分为对称噪声:随机将闭集样本的标签替换为其他类别;和非对称噪声:将闭集样本的标签替换为特 阅读全文
posted @ 2024-06-29 11:45 3039442 阅读(376) 评论(0) 推荐(2)
摘要: 这篇文章设置的问题是:考虑长尾分布的训练集下,对测试集上的OOD样本进行检测。作者在训练集中引入了open set样本学习异常表征,以OCL(Outlier Class Learn)为baseline,训练时引入prototype方法,推理时对logits进行调整校准。 问题背景 DNNs会把OOD 阅读全文
posted @ 2024-06-20 09:51 3039442 阅读(247) 评论(0) 推荐(0)
摘要: 这篇文章与ICML2022的Open-sampling是同一个作者,方法一模一样,只是问题的场景变为噪声标签学习,Open-sampling是长尾问题的场景,可参见写的这篇blog。 这两篇文章大致做法完全相同:对biased数据集引入开集数据,在每个epoch分配均匀的闭集标签。如果是long t 阅读全文
posted @ 2024-06-14 19:31 3039442 阅读(122) 评论(0) 推荐(0)
摘要: 指令查询 开发环境 docker json schema prompt guide 帮助文档 各种目录 中国计算机学会推荐国际学术会议和期刊目录(2026) SCI等评级查询 Python库 网站 介绍 Vega-Altair 绘图库 PyTorch 深度学习框架 前端 网站 介绍 Element- 阅读全文
posted @ 2024-06-14 11:59 3039442 阅读(106) 评论(0) 推荐(1)
摘要: 在长尾数据中,作者主动加入开集噪声,并按一定比例赋予噪声样本闭集标签,来帮助长尾学习。 引入开集样本训练模型有点像dropout,“破坏”某些模型参数防止尾部类的过拟合 Motivation 长尾学习中的训练数据集分布不平衡的问题,解决方法之一是重采样。重采样主要对于尾部类重复采用,但这种做法往往会 阅读全文
posted @ 2024-06-07 17:27 3039442 阅读(177) 评论(0) 推荐(0)
摘要: import datetime from sqlalchemy import Column, String, inspect, Integer from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.orm im 阅读全文
posted @ 2024-05-11 12:14 3039442 阅读(126) 评论(0) 推荐(0)
摘要: 前言 类激活图CAM(class activation mapping)用于可视化深度学习模型的感兴趣区域,增加了神经网络的可解释性。现在常用Grad-CAM可视化,Grad-CAM基于梯度计算激活图,对比传统的CAM更加灵活,且不需要修改模型结构。 虽然计算grad-cam并不复杂,但是本着能导包 阅读全文
posted @ 2024-04-18 16:03 3039442 阅读(1957) 评论(0) 推荐(0)
摘要: t-SNE理论相关理论可参见t-SNE 算法。本文通过PyTorch提供的预训练Resnet50提取CIFAR-10表征,并使用t-SNE进行可视化。 加载预训练Resnet50 import torch from torchvision.models import resnet50, ResNet 阅读全文
posted @ 2024-04-16 19:35 3039442 阅读(873) 评论(0) 推荐(0)
摘要: 这篇文章作者写得非常详细,读起来非常舒适。 Contribution: 在long-tailed data中,re-sampling不一定有效。 re-sampling的失败可能是对于不相关的context过拟合导致的,作者设计了实验论证了这一假说。 在single-stage的框架下,作者提出了上 阅读全文
posted @ 2024-04-14 18:30 3039442 阅读(149) 评论(0) 推荐(0)