共 6 页: 上一页 1 2 3 4 5 6 下一页
摘要:本文简单介绍了 Adam 优化器,并讨论一个问题:Adam 这个自适应学习率的优化器还有必要使用学习率衰减(learning rate decay)吗? 阅读全文
posted @ 2019-06-28 17:06 wuliytTaotao 阅读 (4123) 评论 (0) 编辑
摘要:梯度下降法、最速下降法、牛顿法等迭代求解方法,都是在无约束的条件下使用的,而在有约束的问题中,直接使用这些梯度方法会有问题,如更新后的值不满足约束条件。如何处理有约束的优化问题?大致可以分为以下两种方式: 1. 将有约束的问题转化为无约束的问题,如拉格朗日乘子法和KKT条件; 2. 对无约束问题下的求解算法进行修改,使其能够运用在有约束的问题中,如对梯度下降法进行投影,使得更新后的值都满足约束条件。 阅读全文
posted @ 2019-06-24 20:14 wuliytTaotao 阅读 (677) 评论 (0) 编辑
摘要:tf.keras 使用 tensorflow 中定义的 optimizer,同时如果使用 ReduceLROnPlateau() callbacks,会出现错误 AttributeError: 'TFOptimizer' object has no attribute 'lr',通过 TFOptimizer 对 optimizer 进行一层包装即可解决这个问题。 阅读全文
posted @ 2019-06-06 22:00 wuliytTaotao 阅读 (1249) 评论 (0) 编辑
摘要:本文介绍了如何将 PyTorch 中实现的 AlexNet 预训练模型加载到 tf.keras 中。tf.keras没有预训练好的AlexNet模型,如果我们想要在keras上用AlexNet来做迁移学习,要重新在ImageNet上跑一遍AlexNet代码?这是不现实的。其它深度学习框架,如 PyTorch,有在ImageNet上训练好的 AlexNet,我们将其它框架训练好的模型参数加载到keras中。但不同框架之间保存模型的文件有差异,需要进行一些操作。本文利用微软的开源工具 MMdnn,实现 AlexNet 模型的迁移。 阅读全文
posted @ 2019-05-29 22:49 wuliytTaotao 阅读 (1321) 评论 (0) 编辑
摘要:numpy 数组常用的读写方式和文件,第一种文件类型 txt 或 csv,第二种 npy 和 npz,第三种 hdf5。本文简单对比各种方法的优劣,并给出相应的简单例子。 阅读全文
posted @ 2019-05-23 23:37 wuliytTaotao 阅读 (1034) 评论 (0) 编辑
摘要:keras 模型复现的要求 阅读全文
posted @ 2019-05-17 21:43 wuliytTaotao 阅读 (495) 评论 (0) 编辑
摘要:本文简单介绍了线性回归、lasso回归和岭回归,主要解释为什么 lasso 更容易使部分权重变为 0 而 ridge 不行,或者说为什么 lasso 可以进行 feature selection,而 ridge 不行。 阅读全文
posted @ 2019-05-11 20:04 wuliytTaotao 阅读 (1496) 评论 (0) 编辑
摘要:通过矩阵分解补全矩阵用处很广,如推荐系统、缺失值预处理等。本文先简单介绍补全缺失值的一般方法,然后介绍如何用矩阵分解补全缺失值,最后给出含缺失值矩阵分解的python代码。 阅读全文
posted @ 2019-05-06 17:06 wuliytTaotao 阅读 (1549) 评论 (3) 编辑
摘要:softmax 和 cross entropy 是机器学习中很常用的函数,softmax 常用来作为 DNN 分类网络最后一层的激活函数,而 cross entropy 也是一种常用的 loss function。熟悉两者的求导有助于理解为什么 tensorflow 会把这两个函数封装成一个 function 中。本文主要介绍 softmax 和 cross entropy 的求导过程。 阅读全文
posted @ 2019-04-29 15:09 wuliytTaotao 阅读 (730) 评论 (0) 编辑
共 6 页: 上一页 1 2 3 4 5 6 下一页