yc_9527

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

2019年12月31日

摘要:从本质上讲,深度残差收缩网络属于卷积神经网络,是深度残差网络(deep residual network, ResNet)的一个变种。它的核心思想在于,在深度学习进行特征学习的过程中,剔除冗余信息是非常重要的;软阈值化是一种非常灵活的、删除冗余信息的方式。 1.深度残差网络 首先,在介绍深度残差收缩 阅读全文
posted @ 2019-12-31 23:46 yc_9527 阅读(1738) 评论(2) 推荐(0) 编辑

2019年12月28日

摘要:深度残差收缩网络是一种新颖的深度学习算法,实际上是深度残差网络的升级版本,能够在一定程度上提高深度学习方法在含噪数据上的特征学习效果。 首先,简单回顾一下深度残差网络,深度残差网络的基本模块如下图所示。相较于普通的卷积神经网络,深度残差网络引入了跨层的恒等映射,来减小模型训练的难度,提高准确率。 然 阅读全文
posted @ 2019-12-28 21:49 yc_9527 阅读(467) 评论(0) 推荐(0) 编辑

2019年12月24日

摘要:深度残差收缩网络其实是一种通用的特征学习方法,是深度残差网络ResNet、注意力机制和软阈值化的集成,可以用于图像分类。本文采用TensorFlow 1.0和TFLearn 0.3.2,编写了图像分类的程序,采用的图像数据为CIFAR-10。CIFAR-10是一个非常常用的图像数据集,包含10个类别 阅读全文
posted @ 2019-12-24 18:51 yc_9527 阅读(1103) 评论(0) 推荐(0) 编辑

2019年9月29日

摘要:实验部分将所提出的两种深度残差收缩网络,即“通道之间共享阈值的深度残差收缩网络(Deep Residual Shrinkage Networks with Channel-shared Thresholds,简称DRSN-CS)”,和“逐通道不同阈值的深度残差收缩网络(Deep Residual S 阅读全文
posted @ 2019-09-29 22:50 yc_9527 阅读(767) 评论(0) 推荐(0) 编辑

摘要:对于基于深度学习的分类算法,其关键不仅在于提取与标签相关的目标信息,剔除无关的信息也是非常重要的,所以要在深度神经网络中引入软阈值化。阈值的自动设置,是深度残差收缩网络的核心贡献。需要注意的是,软阈值化中的阈值,需要满足一定的条件。这篇文章中的阈值设置,事实上,是在注意力机制下进行的。下面分别介绍阈 阅读全文
posted @ 2019-09-29 18:09 yc_9527 阅读(1638) 评论(0) 推荐(0) 编辑

2019年9月28日

摘要:(1)回顾一下深度残差网络的结构 在下图中,(a)-(c)分别是三种残差模块,(d)是深度残差网络的整体示意图。BN指的是批标准化(Batch Normalization),ReLU指的是整流线性单元激活函数(Rectifier Linear Unit),Conv指的是卷积层(Convolution 阅读全文
posted @ 2019-09-28 17:15 yc_9527 阅读(1361) 评论(1) 推荐(0) 编辑

摘要:其实,这篇文章的摘要很好地总结了整体的思路。一共四句话,非常简明扼要。 我们首先来翻译一下论文的摘要: 第一句:This paper develops new deep learning methods, namely, deep residual shrinkage networks, to im 阅读全文
posted @ 2019-09-28 11:03 yc_9527 阅读(1147) 评论(0) 推荐(0) 编辑

2019年9月27日

摘要:深度残差收缩网络(Deep Residual Shrinkage Network)是深度残差学习(Deep Residual Network, ResNet)的一种改进,发表在IEEE Transactions on Industrial Informatics上,面向的是数据包含噪声的情况。 简单 阅读全文
posted @ 2019-09-27 20:25 yc_9527 阅读(2522) 评论(0) 推荐(0) 编辑