摘要：文章提供的代码结构简洁，简单易懂，十分适合作为Baseline。省去冗长的数学证明，直接看文章的贡献： 受SVM的hinge loss启发，提出了新的Loss函数鼓励每个类在表征空间有更大的margin。 延迟re-weighting的trick。 在多个数据集，包括情感分类、图像分类进行实验。 M 阅读全文

摘要：用自监督学习MoCO提取表征，然后分布校准（与tailed class 相似的head classes去校准tailed class的分布）。没有开源，没有创新。 Introduction 作者考虑了数据集常见的两个问题：1、部分数据被错误得标注；2、数据呈长尾分布。之前涌现了很多工作分别针对这两个 阅读全文

摘要：背景 Mixup（混合） 定义 对于一个样本\((x_i,y_i)\)，将其与另一个样本\((x_j,y_j)\)混合： \[\begin{aligned} \tilde{x}_i &= \lambda x_i + (1-\lambda)x_j, \\ \tilde{y}_i &= \lambda 阅读全文

摘要：准备数据 加载数据集 MNIST from torchvision import datasets, transforms transform = transforms.Compose([ transforms.ToTensor(), # value of pixel: [0, 255] -> [0 阅读全文

摘要：1. Sigmoid 数学表达式 \[f(x) = \frac{1}{1+e^{-x}} \]图像 2. Tanh 数学表达式 \[f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} \]图像 3. ReLU 数学表达式 \[f(x) = \max(0, x) \]图像 阅读全文