摘要: 管理和优化显存 深度学习 训练 训练的时候 常常会 爆显存 数据集 -- 大 模型复杂 -- 计算繁琐 参数多 优化器 -- 状态信息存储 1、监视 TensorBoard 或PyTorch Lightning 2、分批处理数据 Data Loader 数据集分批加载到内存,降低每轮训练数据的显存占用 3、梯度累积 几个批次的数据 阅读全文
posted @ 2023-12-05 20:00 paramotor 阅读(227) 评论(0) 推荐(0)
摘要: 正则化L1 和L2 和Elastic Net(待更) 一、什么是正则化 英文 Ragularization 使模型普通化、均匀化、一般化,防止或减小 模型的过拟合。 二、正则化项(惩罚项) 英文 Ragularizer(Penalty) 经验风险 -- 经验指模型的预测值和数据真实值的相近程度 结构风险 -- 结构指模型,当数据量偏少时,复杂结构的模型 阅读全文
posted @ 2023-12-04 20:45 paramotor 阅读(138) 评论(0) 推荐(0)
摘要: IoU 交并比 一、IoU(Intersection Over Union,交并比) intersection 交集 over 在……之上 union 并集 $IoU = {|A\cap B| \over |A\cup B|}$ 在目标检测领域中,IoU用来衡量检测框的交叠程度,既,预测的框和真实的框的交叠率。 理 阅读全文
posted @ 2023-11-20 17:21 paramotor 阅读(393) 评论(0) 推荐(0)