脂环

摘要： Intro 在训练集上最小化损失很可能导致泛化性低，因为当今模型的过参数化会导致training loss的landscape异常复杂且非凸，包含很多local/global minima，因此优化器的选择至关重要。loss landscape的几何性质（特别是minima的flatness）与泛化 阅读全文

摘要： Motivation & Intro 基于DETR的目标检测范式（语义分割的Maskformer也与之相似）通常会用到一系列固定的query，这些query是图像中目标对象位置和语义的全局先验。如果能够根据图像的语义信息调整query，就可以捕捉特定场景中物体位置和类别的分布。例如，当高级语义显示图 阅读全文

摘要： 前置知识：【EM算法深度解析 - CSDN App】http://t.csdnimg.cn/r6TXM Motivation 目前的语义分割通常采用判别式分类器，然而这存在三个问题：这种方式仅仅学习了决策边界，而没有对数据分布进行建模；每个类仅学习一个向量，没有考虑到类内差异；OOD数据效果不好。生 阅读全文

摘要： 前置知识：VAE（可以参考https://zhuanlan.zhihu.com/p/348498294） Motivation 之前的方法通常使用判别式分类器，对条件分布\(p(y|\textbf{x})\)进行建模（classifier+softmax+ce）。其问题在于分类器会偏向最新学的类别， 阅读全文

摘要： 原因是之前给代码debug的时候加上了with torch.autograd.detect_anomaly，去掉即可。参考：https://github.com/pytorch/pytorch/issues/38714 阅读全文

摘要： 原因是把创建loss的语句loss_aux = torch.tensor(0.)放在循环体外了，可能的解释是第一次backward后把计算图删除，第二次backward就会找不到父节点，也就无法反向传播。参考：https://stackoverflow.com/questions/55268726/ 阅读全文

摘要： 之前使用的比较老的torch 1.8.1，换到torch 2.0后报错 "rank 1 and rank 0 both on CUDA device 35000" 将main函数开头部分的初始化 ```python distributed.init_process_group(backend='nc 阅读全文

摘要： ## 摘要 先前的类增量学习方法要么难以在稳定性-可塑性之间取得较好的平衡，要么会带来较大的计算/存储开销。受gradient boosting的启发，作者提出了一种新型的两阶段学习范式FOSTER，以逐步适应目标模型和先前的集合模型之间的残差，使得该模型能够自适应地学习新的类别。具体来说，作者首先 阅读全文

摘要： 参考https://github.com/lucidrains/big-sleep/issues/48，将torch从1.8.0更新至1.8.1后问题得以解决。 阅读全文

摘要： 参考https://blog.csdn.net/weixin_44633882/article/details/108614914，将命令改为：`sudo ./cuda_10.2.89_440.33.01_linux.run --librarypath=/usr/local/cuda-10.2` 即 阅读全文