摘要: 在调参记录15的基础上,将第一个残差模块的卷积核数量,从16个增加到32个,同时将自适应参数化ReLU激活函数中第一个全连接层的神经元个数改成原先的1/16,继续测试其在Cifar10数据集上的效果。 自适应参数化ReLU激活函数的基本原理如下: Keras程序: #!/usr/bin/env py 阅读全文
posted @ 2020-05-19 10:25 世俗杂念 阅读(240) 评论(0) 推荐(0) 编辑
摘要: 在调参记录14里,只有2个残差模块,结果遭遇欠拟合了。这次增加一个残差模块试试。 自适应参数化ReLU激活函数的基本原理如下: Keras程序如下: #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Tue Apr 14 04 阅读全文
posted @ 2020-05-19 10:15 世俗杂念 阅读(226) 评论(0) 推荐(0) 编辑
摘要: 这次再尝试解决过拟合,把残差模块的数量减少到2个,自适应参数化ReLU激活函数里面第一个全连接层的权重数量,减少为之前的1/8,批量大小设置为1000(主要是为了省时间)。 自适应参数化ReLU激活函数的基本原理如下: Keras程序如下: #!/usr/bin/env python3 # -*- 阅读全文
posted @ 2020-05-19 09:45 世俗杂念 阅读(432) 评论(0) 推荐(0) 编辑
摘要: 从以往的调参结果来看,过拟合是最主要的问题。本文在调参记录12的基础上,将层数减少,减到9个残差模块,再试一次。 自适应参数化ReLU激活函数原理如下: Keras程序如下: 1 #!/usr/bin/env python3 2 # -*- coding: utf-8 -*- 3 """ 4 Cre 阅读全文
posted @ 2020-05-19 09:32 世俗杂念 阅读(442) 评论(0) 推荐(0) 编辑
摘要: 本文在调参记录10的基础上,在数据增强部分添加了zoom_range = 0.2,将训练迭代次数增加到5000个epoch,批量大小改成了625,测试Adaptively Parametric ReLU(APReLU)激活函数在Cifar10图像集上的效果。 Adaptively Parametri 阅读全文
posted @ 2020-05-18 22:55 世俗杂念 阅读(767) 评论(0) 推荐(0) 编辑
摘要: 本文在调参记录10的基础上,将残差模块的数量从27个增加到60个,测试采用Adaptively Parametric ReLU(APReLU)激活函数的深度残差网络,在Cifar10图像集上的效果。 Keras程序如下: 1 #!/usr/bin/env python3 2 # -*- coding 阅读全文
posted @ 2020-05-18 22:49 世俗杂念 阅读(679) 评论(0) 推荐(0) 编辑
摘要: 本文在调参记录9的基础上,在数据增强部分添加了shear_range = 30,测试Adaptively Parametric ReLU(APReLU)激活函数在Cifar10图像集上的效果。 Keras里ImageDataGenerator的用法见如下网址:https://fairyonice.g 阅读全文
posted @ 2020-05-18 22:46 世俗杂念 阅读(792) 评论(0) 推荐(0) 编辑
摘要: 本文在调参记录6的基础上,继续调整超参数,测试Adaptively Parametric ReLU(APReLU)激活函数在Cifar10图像集上的效果。 深度残差网络+自适应参数化ReLU激活函数(调参记录6)https://www.cnblogs.com/shisuzanian/p/129074 阅读全文
posted @ 2020-05-17 23:30 世俗杂念 阅读(544) 评论(0) 推荐(0) 编辑
摘要: 续上一篇:深度残差网络+自适应参数化ReLU激活函数(调参记录7)https://www.cnblogs.com/shisuzanian/p/12907617.html本文将层数设置得很少,只有两个残差模块,测试Adaptively Parametric ReLU(APReLU)激活函数在Cifar 阅读全文
posted @ 2020-05-17 23:23 世俗杂念 阅读(305) 评论(0) 推荐(0) 编辑
摘要: 续上一篇: 深度残差网络+自适应参数化ReLU激活函数(调参记录6) https://www.cnblogs.com/shisuzanian/p/12907482.html 本文冒着过拟合的风险,将卷积核的个数增加成32个、64个和128个,继续测试Adaptively Parametric ReL 阅读全文
posted @ 2020-05-17 23:04 世俗杂念 阅读(473) 评论(0) 推荐(0) 编辑