摘要：一、信息熵 $\begin{equation} H(Y) = \sum_{i=1}^n y_i \log y_i \end{equation}$ 单纯的Y的信息混乱程度 二、条件熵 $\begin{equation}\begin{aligned}H(Y|X) & = \sum_{i=1}^n P(X 阅读全文

摘要：训练的时候 常常会 爆显存 数据集 -- 大 模型复杂 -- 计算繁琐 参数多 优化器 -- 状态信息存储 1、监视 TensorBoard 或PyTorch Lightning 2、分批处理数据 Data Loader 数据集分批加载到内存，降低每轮训练数据的显存占用 3、梯度累积 几个批次的数据 阅读全文

摘要：一、什么是正则化 英文 Ragularization 使模型普通化、均匀化、一般化，防止或减小 模型的过拟合。 二、正则化项（惩罚项） 英文 Ragularizer（Penalty） 经验风险 -- 经验指模型的预测值和数据真实值的相近程度 结构风险 -- 结构指模型，当数据量偏少时，复杂结构的模型 阅读全文

摘要：一、IoU(Intersection Over Union，交并比) intersection 交集 over 在……之上 union 并集 $IoU = {|A\cap B| \over |A\cup B|}$ 在目标检测领域中，IoU用来衡量检测框的交叠程度，既，预测的框和真实的框的交叠率。 理 阅读全文