摘要:本文简单介绍什么是主动学习,为什么需要主动学习,主动学习和监督学习、弱监督学习、半监督学习、无监督学习之间是什么关系,主动学习又有哪些种类。 阅读全文
posted @ 2019-04-23 22:24 wuliytTaotao 阅读(1625) 评论(0) 推荐(0) 编辑
摘要:当数据集很小时,训练多久用 epoch 表示不太合适,这个时候使用模型更新次数来表示更加合理,每多少个 steps 查看一次验证集效果并保存模型。 阅读全文
posted @ 2020-09-30 16:59 wuliytTaotao 阅读(78) 评论(0) 推荐(0) 编辑
摘要:PyTorch,只对卷积层和全连接层的 weights 进行 L2(weight decay)。 阅读全文
posted @ 2020-06-25 20:35 wuliytTaotao 阅读(789) 评论(0) 推荐(0) 编辑
摘要:Π-Model、Temporal Ensembling 和 Mean Teacher 三者都是利用一致性正则(consistency regularization)来进行半监督学习(semi-supervised learning)。 阅读全文
posted @ 2020-05-04 11:45 wuliytTaotao 阅读(1169) 评论(0) 推荐(0) 编辑
摘要:半监督学习(Semi-Supervised Learning,SSL)的 SOTA 一次次被 Google 刷新,从 MixMatch 开始,到同期的 UDA、ReMixMatch,再到 2020 年的 FixMatch。 阅读全文
posted @ 2020-04-18 22:56 wuliytTaotao 阅读(2242) 评论(0) 推荐(0) 编辑
摘要:conda 管理包很方便,但并不是所有包都有最新的 conda 版本,所以仍需要使用 conda 中的 pip 来安装包。以 conda 安装路径 `~/miniconda`、环境名称 `tf2.1` 为例,conda 环境中的 pip 路径为: ~/miniconda3/envs/tf2.1/bin/pip 阅读全文
posted @ 2020-03-11 13:41 wuliytTaotao 阅读(2791) 评论(0) 推荐(1) 编辑
摘要:tf.keras 使用手册。记录使用 tf.keras 时遇到的各种问题。本手册内容包括 CUDA、cuDNN 的安装,数据集加载,tf.keras没有集成的优化器(如 AdamW)的使用,自行设计 metrics 如 F1、recall、precision,模型复现、预训练模型加载、循环训练模型OOM,以及一些TensorFlow API变化 阅读全文
posted @ 2020-01-12 20:23 wuliytTaotao 阅读(913) 评论(0) 推荐(0) 编辑
摘要:论文 "Decoupled Weight Decay Regularization" 中提到,Adam 在使用时,L2 regularization 与 weight decay 并不等价,并提出了 AdamW,在神经网络需要正则项时,用 AdamW 替换 Adam+L2 会得到更好的性能。 Ten 阅读全文
posted @ 2020-01-11 00:45 wuliytTaotao 阅读(2327) 评论(0) 推荐(0) 编辑
摘要:TF 2.0 for Linux 使用时报错:Loaded runtime CuDNN library: 7.4.1 but source was compiled with: 7.6.0. 解决方法:升级 cuDNN。非 root 用户可以在自己目录下安装 CUDA 和新版本的 cuDNN 来解决这个问题。 阅读全文
posted @ 2020-01-09 00:40 wuliytTaotao 阅读(747) 评论(0) 推荐(0) 编辑
摘要:矩阵中每一行是一个样本,计算两个矩阵中样本之间的距离,即成对距离(pair-wise distances),可以采用 scipy 中的函数 scipy.spatial.distance.cdist,方便计算。 阅读全文
posted @ 2019-12-11 18:49 wuliytTaotao 阅读(3094) 评论(0) 推荐(0) 编辑
摘要:TensorFlow 2.0 版本将 keras 作为高级 API,对于 keras boy/girl 来说,这就很友好了。tf.keras 从 1.x 版本迁移到 2.0 版本,需要注意几个地方。 1. 设置随机种子 2. 设置并行线程数和动态分配显存 3. model.compile() 中设置 阅读全文
posted @ 2019-12-10 15:11 wuliytTaotao 阅读(1660) 评论(0) 推荐(0) 编辑