随笔分类 -  Deep Learning

Fine-Grained Image (细粒度图像) – Papers, Codes and Datasets
摘要：Table of contents Introduction Survey papers Benchmark datasets Fine-grained image recognition Fine-grained recognition by localization-classification 阅读全文
posted @ 2019-11-06 12:59 杨国峰 阅读(3825) 评论(0) 推荐(0)
Pytorch在colab和kaggle中使用TensorBoard/TensorboardX可视化
摘要：在colab和kaggle内核的Jupyter notebook中如何可视化深度学习模型的参数对于我们分析模型具有很大的意义，相比tensorflow, pytorch缺乏一些的可视化生态包，但是幸好pytorch1.1官方添加了tensorboard的库，可以直接从TORCH.UTILS.TENS 阅读全文
posted @ 2019-07-03 14:53 杨国峰 阅读(1659) 评论(0) 推荐(0)
训练集，验证集，测试集比例
摘要：当数据量比较小时，可以使用 7 ：3 训练数据和测试数据，或者 6：2 : 2 训练数据，验证数据和测试数据。 (西瓜书中描述常见的做法是将大约 2/3 ~ 4/5 的样本数据用于训练，剩余样本用于测试） 当数据量非常大时，可以使用 98 : 1 : 1 训练数据，验证数据和测试数据。 传统机器学习 阅读全文
posted @ 2019-07-01 11:23 杨国峰 阅读(23813) 评论(0) 推荐(1)
学习速率过大 or 过小
摘要： 阅读全文
posted @ 2019-06-21 22:37 杨国峰 阅读(724) 评论(0) 推荐(0)
深度学习模型评估指标
摘要：一个深度学习模型在各类任务中的表现都需要定量的指标进行评估，才能够进行横向的对比比较，包含了分类、回归、质量评估、生成模型中常用的指标。 1 分类评测指标 图像分类是计算机视觉中最基础的一个任务，也是几乎所有的基准模型进行比较的任务，从最开始比较简单的10分类的灰度图像手写数字识别mnist，到后来 阅读全文
posted @ 2019-05-15 16:06 杨国峰 阅读(9855) 评论(1) 推荐(2)
语言模型预训练方法（ELMo、GPT和BERT）——自然语言处理（NLP）
摘要：1. 引言 在介绍论文之前，我将先简单介绍一些相关背景知识。首先是语言模型（Language Model），语言模型简单来说就是一串词序列的概率分布。具体来说，语言模型的作用是为一个长度为m的文本确定一个概率分布P，表示这段文本存在的可能性。在实践中，如果文本的长度较长，P(wi | w1, w2, 阅读全文
posted @ 2019-04-19 11:29 杨国峰 阅读(1278) 评论(0) 推荐(0)
Focal Loss 的前向与后向公式推导
摘要：解决分类问题中类别不平衡、分类难度差异的一个 Loss。 阅读全文
posted @ 2019-04-04 16:25 杨国峰 阅读(920) 评论(0) 推荐(0)
防止过拟合：L1/L2正则化
摘要：正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出 阅读全文
posted @ 2018-12-19 20:25 杨国峰 阅读(944) 评论(0) 推荐(0)
图像的上采样（upsampling）与下采样（subsampled）
摘要：缩小图像（或称为下采样（subsampled）或降采样（downsampled））的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。 放大图像（或称为上采样（upsampling）或图像插值（interpolating））的主要目的是放大原图像，从而可以显示在更高分辨率的显 阅读全文
posted @ 2018-12-18 17:08 杨国峰 阅读(16254) 评论(0) 推荐(0)
在Keras中使用tensorboard可视化acc等曲线
摘要：1.使用tensorboard可视化ACC，loss等曲线 然后新开一个终端 输入： 之后打开终端给出的网址即可。 2.直接使用matplotlib画出训练LOSS与ACC曲线 第一步： 第二步： 第三步： 阅读全文
posted @ 2018-08-05 20:16 杨国峰 阅读(6228) 评论(0) 推荐(1)
train loss与test loss结果分析
摘要：train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于 阅读全文
posted @ 2018-08-05 20:10 杨国峰 阅读(785) 评论(0) 推荐(0)
Keras中间层输出的两种方式，即特征图可视化
摘要：训练好的模型，想要输入中间层的特征图，有两种方式： 1. 通过model.get_layer的方式。创建新的模型，输出为你要的层的名字。 创建模型，debug状态可以看到模型中，base_model/layers,图中红框即为layer名字，根据你想输出的层填写。最后网络feed数据后，输出的就是中 阅读全文
posted @ 2018-08-05 20:09 杨国峰 阅读(13329) 评论(0) 推荐(1)
scikit-learn中predict_proba用法 (与predict的区别）
摘要：predict_proba返回的是一个 n 行 k 列的数组， 第 i 行 第 j 列上的数值是模型预测 第 i 个预测样本为某个标签的概率，并且每一行的概率和为1。 阅读全文
posted @ 2018-08-05 14:22 杨国峰 阅读(4040) 评论(0) 推荐(0)
Sklearn，TensorFlow，keras模型保存与读取
摘要：模型保存与读取 阅读全文
posted @ 2018-05-17 21:11 杨国峰 阅读(5807) 评论(0) 推荐(0)