摘要:之所以会有这个问题,是因为在学习 logistic regression 时,《统计机器学习》一书说它的负对数似然函数是凸函数,而 logistic regression 的负对数似然函数(negative log likelihood)和 交叉熵函数(cross entropy)具有一样的形式。 阅读全文
posted @ 2019-12-01 21:33 wuliytTaotao 阅读(1251) 评论(1) 推荐(0) 编辑
摘要:TensorFlow Datasets 简单介绍,使用 tfds 方便导入一些 tf.keras.datasets 中没有的数据集。 阅读全文
posted @ 2019-11-23 22:35 wuliytTaotao 阅读(898) 评论(0) 推荐(0) 编辑
摘要:python 命令行参数解析常用到 argparse 包,但是 argparse 包对 bool 值的传递可能和你想不太一样,在传递 bool 的时候,设定 type=bool,此时命令行中只要出现了参数就取 True,不管你设置了该参数取 True 还是 False,这个有点反人类,正确的做法是使用 action='store_true' 而不是设定 type=bool。 阅读全文
posted @ 2019-11-04 21:51 wuliytTaotao 阅读(1039) 评论(0) 推荐(0) 编辑
摘要:验证集效果比测试集好怎么办? 阅读全文
posted @ 2019-10-18 19:55 wuliytTaotao 阅读(1723) 评论(0) 推荐(0) 编辑
摘要:主动学习,Core-set 查询策略,2018 年 ICLR 的一篇文章,成为了之后很多文章的 baseline。其中,K-center-greedy 方法实现简单,速度快;Robust k-center 速度慢,但效果更好。 阅读全文
posted @ 2019-09-29 15:43 wuliytTaotao 阅读(1352) 评论(5) 推荐(2) 编辑
摘要:Monte-Carlo Dropout(蒙特卡罗 dropout),简称 MC dropout。一种从贝叶斯理论出发的 Dropout 理解方式,将 Dropout 解释为高斯过程的贝叶斯近似。本文简单介绍 MC dropout,并说明神经网络模型如何表示 uncertainty。 阅读全文
posted @ 2019-09-12 16:34 wuliytTaotao 阅读(3272) 评论(6) 推荐(0) 编辑
摘要:NumPy 不会主动检测并利用 GPU,虽然 NumPy 已经很好用了,但是能利用 GPU 的 NumPy 替代品速度会更快。 阅读全文
posted @ 2019-09-05 21:46 wuliytTaotao 阅读(1832) 评论(0) 推荐(0) 编辑
摘要:查看 CUDA 和 cuDNN 的版本,安装对应版本的深度学习框架。 阅读全文
posted @ 2019-09-03 16:32 wuliytTaotao 阅读(52387) 评论(0) 推荐(1) 编辑
摘要:Linux 和 Windows 系统下,查看当前正在执行的 python 进程,以及 GPU 的利用率。 阅读全文
posted @ 2019-08-15 10:53 wuliytTaotao 阅读(4064) 评论(0) 推荐(0) 编辑
摘要:在 cifar-10 上训练 AlexNet。将 32×32 的图片 resize 到 224×224 之后,数据将无法完全加载到 32G 内存中,会产生 OOM。那么此时的做法有: 1)将 resize 作为模型的一部分,如设置一个 layer 来对一个 batch 的图像进行 resize,这样 32×32 的 cifar-10 仍然可以完全加载到内存中; 2)一种通用的方法,每次只加载一部分数据到内存中,其余数据等到需要的时候再加载到内存。 阅读全文
posted @ 2019-07-15 22:18 wuliytTaotao 阅读(1024) 评论(0) 推荐(1) 编辑