摘要： AlexNet AlexNet是2012年提出的一个模型,并且赢得了ImageNet图像识别挑战赛的冠军.首次证明了由计算机自动学习到的特征可以超越手工设计的特征,对计算机视觉的研究有着极其重要的意义. AlexNet的设计思路和LeNet是非常类似的.不同点主要有以下几点: 激活函数由sigmoi 阅读全文

摘要： 卷积神经网络 在之前的文章里,对28 X 28的图像,我们是通过把它展开为长度为784的一维向量,然后送进全连接层,训练出一个分类模型.这样做主要有两个问题 1. 图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。 2. 对于大尺寸的输入图像，使用全连接层容易造成模型 阅读全文

摘要： GPU计算 默认情况下,pytorch将数据保存在内存,而不是显存. 查看显卡信息 我的机器输出如下: 单卡,gtx 1050,4g显存. 查看gpu是否可用 查看gpu数量 查看当前gpu号 查看设备名 把tensor复制到显存 使用 可以将CPU上的 转换（复制）到GPU上。如果有多块GPU，我 阅读全文

摘要： 模型读取和存储 总结下来,就是几个函数 1. torch.load()/torch.save() 通过python的pickle完成序列化与反序列化.完成内存磁盘转换. 2. Module.state_dict()/Module.load_state_dict() state_dict()获取模型参 阅读全文

摘要： 自定义layer 一文里说了怎么写自定义的模型.本篇说怎么自定义层. 分两种: 不含模型参数的layer 含模型参数的layer 核心都一样,自定义一个继承自 ,在类的forward函数里实现该layer的计算,不同的是,带参数的layer需要用到 不含模型参数的layer 直接继承nn.Modul 阅读全文

摘要： 模型参数的访问初始化和共享 参数访问 参数访问:通过下述两个方法．这两个方法是在nn.Module类中实现的.继承自该类的子类也有相同方法. .parameters() .named_parameters() 输出 可见返回的名字自动加上了层数的索引作为前缀。 我们再来访问 中单层的参数。对于使用 阅读全文

摘要： 模型构造 nn.Module nn.Module是pytorch中提供的一个类,是所有神经网络模块的基类.我们自定义的模块要继承这个基类. 输出如下: Module的子类 torch中还提供了一些其他的类,方便我们构造模型. 这些类也都是继承自nn.Module. Sequential Module 阅读全文

摘要： 2019总结 2019年对我而言,是极为重要的一年. 这一年,我离开了工作四年的地方,离开了已经做了四年的运营商j计费业务,离开了温水煮青蛙的状态. 离开了两年前就该离开,却因为事少离家近朝九晚五不加班而不舍得踏出舒适区的状态. 阴差阳错地,进入了一家自动驾驶创业公司,成了一名深度学习工程师,开始接 阅读全文

摘要： 深度学习中的梯度消失和爆炸 详细分析参考: 简单的一句话总结就是: 这二者本质上是同一个问题,在反向传播时,需要求梯度.根据链式求导法则,所以相当于各层的偏导数连乘,由于激活函数的存在,有些激活函数的偏导数一直小于１或者大于１,那么偏导数连乘以后,就会造成梯度过小或过大.从而使得参数变化很小或者参数 阅读全文

摘要： "上一篇" 讲了防止过拟合的一种方式,权重衰减,也即在loss上加上一部分$\frac{\lambda}{2n} \|\boldsymbol{w}\|^2$,从而使得w不至于过大,即不过分偏向某个特征. 这一篇介绍另一种防止过拟合的方法,dropout,即丢弃某些神经元的输出.由于每次训练的过程里, 阅读全文