摘要:本文简单介绍什么是主动学习,为什么需要主动学习,主动学习和监督学习、弱监督学习、半监督学习、无监督学习之间是什么关系,主动学习又有哪些种类。 阅读全文
posted @ 2019-04-23 22:24 wuliytTaotao 阅读(1440) 评论(0) 推荐(0) 编辑
摘要:PyTorch,只对卷积层和全连接层的 weights 进行 L2(weight decay)。 阅读全文
posted @ 2020-06-25 20:35 wuliytTaotao 阅读(354) 评论(0) 推荐(0) 编辑
摘要:Π-Model、Temporal Ensembling 和 Mean Teacher 三者都是利用一致性正则(consistency regularization)来进行半监督学习(semi-supervised learning)。 阅读全文
posted @ 2020-05-04 11:45 wuliytTaotao 阅读(682) 评论(0) 推荐(0) 编辑
摘要:半监督学习(Semi-Supervised Learning,SSL)的 SOTA 一次次被 Google 刷新,从 MixMatch 开始,到同期的 UDA、ReMixMatch,再到 2020 年的 FixMatch。 阅读全文
posted @ 2020-04-18 22:56 wuliytTaotao 阅读(1661) 评论(0) 推荐(0) 编辑
摘要:conda 管理包很方便,但并不是所有包都有最新的 conda 版本,所以仍需要使用 conda 中的 pip 来安装包。以 conda 安装路径 `~/miniconda`、环境名称 `tf2.1` 为例,conda 环境中的 pip 路径为: ~/miniconda3/envs/tf2.1/bin/pip 阅读全文
posted @ 2020-03-11 13:41 wuliytTaotao 阅读(1774) 评论(0) 推荐(0) 编辑
摘要:tf.keras 使用手册。记录使用 tf.keras 时遇到的各种问题。本手册内容包括 CUDA、cuDNN 的安装,数据集加载,tf.keras没有集成的优化器(如 AdamW)的使用,自行设计 metrics 如 F1、recall、precision,模型复现、预训练模型加载、循环训练模型OOM,以及一些TensorFlow API变化 阅读全文
posted @ 2020-01-12 20:23 wuliytTaotao 阅读(780) 评论(0) 推荐(0) 编辑
摘要:论文 "Decoupled Weight Decay Regularization" 中提到,Adam 在使用时,L2 regularization 与 weight decay 并不等价,并提出了 AdamW,在神经网络需要正则项时,用 AdamW 替换 Adam+L2 会得到更好的性能。 Ten 阅读全文
posted @ 2020-01-11 00:45 wuliytTaotao 阅读(1878) 评论(0) 推荐(0) 编辑
摘要:TF 2.0 for Linux 使用时报错:Loaded runtime CuDNN library: 7.4.1 but source was compiled with: 7.6.0. 解决方法:升级 cuDNN。非 root 用户可以在自己目录下安装 CUDA 和新版本的 cuDNN 来解决这个问题。 阅读全文
posted @ 2020-01-09 00:40 wuliytTaotao 阅读(585) 评论(0) 推荐(0) 编辑
摘要:矩阵中每一行是一个样本,计算两个矩阵中样本之间的距离,即成对距离(pair-wise distances),可以采用 scipy 中的函数 scipy.spatial.distance.cdist,方便计算。 阅读全文
posted @ 2019-12-11 18:49 wuliytTaotao 阅读(2410) 评论(0) 推荐(0) 编辑
摘要:TensorFlow 2.0 版本将 keras 作为高级 API,对于 keras boy/girl 来说,这就很友好了。tf.keras 从 1.x 版本迁移到 2.0 版本,需要注意几个地方。 1. 设置随机种子 2. 设置并行线程数和动态分配显存 3. model.compile() 中设置 阅读全文
posted @ 2019-12-10 15:11 wuliytTaotao 阅读(1406) 评论(0) 推荐(0) 编辑
摘要:tf.keras.metric 里面竟然没有实现 F1 score、recall、precision 等指标,一开始觉得真不可思议。但这是有原因的,这些指标在 batch-wise 上计算都没有意义,需要在整个验证集上计算,而 tf.keras 在训练过程(包括验证集)中计算 acc、loss 都是一个 batch 计算一次的,最后再平均起来。 阅读全文
posted @ 2019-12-05 22:21 wuliytTaotao 阅读(2877) 评论(0) 推荐(1) 编辑