wuliytTaotao

摘要： dlib 安装，人脸检测应用示例。 阅读全文

摘要： 当数据集很小时，训练多久用 epoch 表示不太合适，这个时候使用模型更新次数来表示更加合理，每多少个 steps 查看一次验证集效果并保存模型。 阅读全文

摘要： PyTorch，只对卷积层和全连接层的 weights 进行 L2（weight decay）。 阅读全文

摘要： Π-Model、Temporal Ensembling 和 Mean Teacher 三者都是利用一致性正则（consistency regularization）来进行半监督学习（semi-supervised learning）。 阅读全文

摘要： 半监督学习（Semi-Supervised Learning，SSL）的 SOTA 一次次被 Google 刷新，从 MixMatch 开始，到同期的 UDA、ReMixMatch，再到 2020 年的 FixMatch。 阅读全文

摘要： conda 管理包很方便，但并不是所有包都有最新的 conda 版本，所以仍需要使用 conda 中的 pip 来安装包。以 conda 安装路径 `~/miniconda`、环境名称 `tf2.1` 为例，conda 环境中的 pip 路径为： ~/miniconda3/envs/tf2.1/bin/pip 阅读全文

摘要： tf.keras 使用手册。记录使用 tf.keras 时遇到的各种问题。本手册内容包括 CUDA、cuDNN 的安装，数据集加载，tf.keras没有集成的优化器（如 AdamW）的使用，自行设计 metrics 如 F1、recall、precision，模型复现、预训练模型加载、循环训练模型OOM，以及一些TensorFlow API变化 阅读全文

摘要： 论文 "Decoupled Weight Decay Regularization" 中提到，Adam 在使用时，L2 regularization 与 weight decay 并不等价，并提出了 AdamW，在神经网络需要正则项时，用 AdamW 替换 Adam+L2 会得到更好的性能。 Ten 阅读全文

摘要： TF 2.0 for Linux 使用时报错：Loaded runtime CuDNN library: 7.4.1 but source was compiled with: 7.6.0. 解决方法：升级 cuDNN。非 root 用户可以在自己目录下安装 CUDA 和新版本的 cuDNN 来解决这个问题。 阅读全文

摘要： 矩阵中每一行是一个样本，计算两个矩阵中样本之间的距离，即成对距离（pair-wise distances），可以采用 scipy 中的函数 scipy.spatial.distance.cdist，方便计算。 阅读全文