不积跬步,无以至千里;不积小流,无以成江海。——荀子

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2018年4月4日

摘要:吴恩达 Andrew Ng 的视频教程“改善深层神经网络:超参数调试、正则化以及优化”,主要介绍: 如何有效的运作神经网络,内容涉及超参数调优,如何构建数据,以及如何确保优化算法快速运行,从而使学习算法在合理时间内完成自我学习。 下面是笔记的索引: 第一周: 深度学习的实用层面 1.1 训练/开发/ 阅读全文
posted @ 2018-04-04 09:27 hejunlin 阅读(263) 评论(0) 推荐(0) 编辑

2017年9月18日

该文被密码保护。 阅读全文
posted @ 2017-09-18 01:37 hejunlin 阅读(18) 评论(0) 推荐(0) 编辑

2020年8月11日

摘要:FCN论文地址:https://arxiv.org/abs/1411.4038 FCN源代码地址:https://github.com/shelhamer/fcn.berkeleyvision.org 图像语义分割(Semantic Segmentation)是对图像中每一个像素点进行分类,确定每个 阅读全文
posted @ 2020-08-11 12:58 hejunlin 阅读(170) 评论(0) 推荐(0) 编辑

2020年8月8日

摘要:CVPR 2019文章 github地址:https://github.com/lixincn2015/Partial-Order-Pruning 目前大多数设计高精度网络结构的工作通常采用FLOP来评估网络的复杂度。但是仅仅FLOP指标不能真正决定实际的推理速度。比如说,在硬件和软件高度优化的Nv 阅读全文
posted @ 2020-08-08 23:10 hejunlin 阅读(223) 评论(0) 推荐(0) 编辑

2020年8月5日

摘要:论文:A Survey on Instance Segmentation: State of the art 论文地址: https://arxiv.org/abs/2007.00047 目标检测( Object detection)不仅需要提供图像中物体的类别,还需要提供物体的位置(boundin 阅读全文
posted @ 2020-08-05 22:29 hejunlin 阅读(9435) 评论(0) 推荐(0) 编辑

2020年7月27日

摘要:Abstract 目前有很多方法来提升CNN的精度。有些方法或者特征只适用于特定的模型或者特定的问题或者小规模的数据集;但是有些方法比如 batch-normalization和residual-connections适用于大多数模型、任务和数据集。我们假定这些通用的特征或者方法包括 Weighte 阅读全文
posted @ 2020-07-27 12:16 hejunlin 阅读(329) 评论(0) 推荐(0) 编辑

2020年7月8日

摘要:目前大部分常用的目标检测算法都是基于anchor的,比如Faster RCNN系列,SSD,YOLO(v2、v3)等,引入anchor后检测效果提升确实比较明显(比如YOLO v1和YOLO v2),但是引入anchor的缺点在于:1、正负样本不均衡。大部分检测算法的anchor数量都成千上万,但是 阅读全文
posted @ 2020-07-08 11:42 hejunlin 阅读(137) 评论(0) 推荐(0) 编辑

2020年6月12日

摘要:为什么LSTM可以防止梯度消失?从反向传播的角度分析 本文原文链接:https://weberna.github.io/blog/2017/11/15/LSTM-Vanishing-Gradients.html LSTM:温和的巨人 相比于RNN,虽然LSTM(或者GRU)看上去复杂而臃肿,但是LS 阅读全文
posted @ 2020-06-12 16:11 hejunlin 阅读(581) 评论(0) 推荐(0) 编辑

2020年6月2日

摘要:机器学习中使用正则化来防止过拟合是什么原理? 什么是过拟合?在训练集上拟合非常好,在测试集上泛化非常差。另一种说法是, 当我们提高在训练数据上的表现时,在测试数据上反而下降。 过拟合现象有多种解释: 经典的是bias-variance decomposition ,但个人认为这种解释更加倾向于直观理 阅读全文
posted @ 2020-06-02 20:16 hejunlin 阅读(240) 评论(0) 推荐(0) 编辑

2020年6月1日

摘要:1 概览 虽然梯度下降优化算法越来越受欢迎,但通常作为黑盒优化器使用,因此很难对其优点和缺点的进行实际的解释。本文旨在让读者对不同的算法有直观的认识,以帮助读者使用这些算法。在本综述中,我们介绍梯度下降的不同变形形式,总结这些算法面临的挑战,介绍最常用的优化算法,回顾并行和分布式架构,以及调研用于优 阅读全文
posted @ 2020-06-01 20:23 hejunlin 阅读(343) 评论(0) 推荐(0) 编辑

2020年5月31日

摘要:当我们在训练一个神经网络的时候,参数的随机初始化是非常重要的,对于逻辑回归来说,把参数初始化为0是很ok的。但是对于一个神经网络,如果我们将权重或者是所有参数初始化为0,梯度下降算法将不会起到任何作用。 1.为什么逻辑回归参数初始化为0是ok的? 下图所示,是logistic回归的图解: 假设我们用 阅读全文
posted @ 2020-05-31 23:25 hejunlin 阅读(937) 评论(0) 推荐(0) 编辑

2020年5月28日

摘要:普通卷积 输入卷积:Win * Hin * Cin卷积核:k * k 输出卷积:Wout * Hout * Cout 参数量:(即卷积核的参数)k * k * Cin * Cout或者:(k * k * Cin + 1) * Cout (包括偏置bias)计算量:k * k * Cin * Wout 阅读全文
posted @ 2020-05-28 10:43 hejunlin 阅读(1179) 评论(0) 推荐(0) 编辑