随笔分类 -  pytorch数据集设置

ImageNet层次标签构建
摘要：[link] 提供了标签间的层次信息，保存在 data.json文件中，可在倒数第二个单元格点击“Download JSON”获得 data.json 文件部分内容如下，如果类别有层级关系，则会嵌套在 “children”： { "id": "fall11", "name": "ImageNet 2 阅读全文
posted @ 2025-05-22 21:11 片刻的自由 阅读(16) 评论(0) 推荐(0)
长尾数据集Places365-LT, ImageNet-LT构建
摘要：除了CIFAR系列，长尾图像分类用的最多的就是这三个数据集：Place365、iNaturalist2018、ImageNet（2012） 分别给出需要下载的 item 以及下载地址： Place365: Small images (256 * 256) with easy directory st 阅读全文
posted @ 2025-04-26 12:09 片刻的自由 阅读(149) 评论(0) 推荐(0)
clothing1m数据集使用
摘要：简介 Clothing1M 包含 14 个类别的 100 万张服装图像。这是一个带有噪声标签的数据集，因为数据是从多个在线购物网站收集的，并且包含许多错误标记的样本。该数据集还分别包含 50k、14k 和 10k 张带有干净标签的图像，用于训练、验证和测试。 下载地址：https://github. 阅读全文
posted @ 2024-10-01 16:40 片刻的自由 阅读(403) 评论(0) 推荐(0)
使用cifar100上训练的resnet18进行ood测试
摘要：以cifar100作为闭集(closed-set)数据集，使用resnet18模型进行训练，然后在常见的开集(out-of-distribution)数据集上进行OOD检测。使用MSP(Maximum Softmax Probability)作为OOD检测的依据。 开集噪声数据集使用gaussian 阅读全文
posted @ 2024-09-28 11:03 片刻的自由 阅读(137) 评论(0) 推荐(0)
数据集WebVision 1.0 (google 子集)介绍 附pytorch下的简单使用
摘要：WebVision数据集介绍 官方下载地址 WebVision数据集常用于开集/闭集噪声学习、长尾噪声学习方法在真实数据集上的评估。根据[2]的统计，干净样本占70%，OOD噪声占25%，ID噪声占5%。 由于数据集本身较大，论文中使用的都是其中很小的一部分，进入下载页面，选择《WebVision 阅读全文
posted @ 2024-08-03 14:45 片刻的自由 阅读(358) 评论(0) 推荐(0)
基于cifar数据集合成含开集、闭集噪声的数据集
摘要：前言 噪声标签学习下的一个任务是：训练集上存在开集噪声和闭集噪声；然后在测试集上对闭集样本进行分类。 训练集中被加入的开集样本，会被均匀得打上闭集样本的标签充当开集噪声；而闭集噪声的设置与一般的噪声标签学习一致，分为对称噪声：随机将闭集样本的标签替换为其他类别；和非对称噪声：将闭集样本的标签替换为特 阅读全文
posted @ 2024-06-29 11:45 片刻的自由 阅读(350) 评论(0) 推荐(2)