随笔分类 -  人工智能与深度学习

神经网络模型模型转ONNX
摘要：近期由于业务需要，需要将训练好的模型转为ONNX格式，为此颇费了一番功夫，在此总结一下吧。。 1、ONNX是一种神经网络模型保存的中间格式，支持多种格式的模型转为ONNX，也支持使用ONNX导入多种格式的模型，具体见https://github.com/onnx/tutorials;目前其实ONNX 阅读全文
posted @ 2019-05-16 02:43 Neal_Pu 阅读(6675) 评论(0) 推荐(0)
ResNet v2笔记
摘要：1、简介 深度参残差网络由许多的残差块构成，在v1版本里，残差块可由公式表述如下： h(x)=x,这是一个恒等映射；F是残差函数；f是ReLU激活函数。这篇论文的主要工作是构建了信息传播的直接通道——不仅是在残差块内部，而且在整个网络中都能够高效地传递。作者通过推导证明了：如果h(x)和f(x)都是 阅读全文
posted @ 2018-09-22 15:28 Neal_Pu 阅读(3002) 评论(0) 推荐(0)
ResNet论文笔记
摘要：前段时间仔细的阅读了孙剑老师和何凯明老师在2015年的大作：Deep Residual Learning for Image Recognition。读完就一个感受：这思路太精妙了，关键这篇论文写的还非常好懂，敬佩之情溢于言表啊！！！这篇博客主要记录下残差网络这篇论文的主要内容。 作者首先抛出了一个 阅读全文
posted @ 2018-09-20 23:53 Neal_Pu 阅读(1189) 评论(0) 推荐(0)
使用tensorflow训练模型时可能出现nan的几种情况
摘要：最近在做基于MTCNN的人脸识别和检测的项目，在训练模型的过程中总是会不定时地出现损失值为nan的情况，Debug了好久终于找到了问题所在，这里总结以下可能出现nan的几种情况： 1、在分类问题中，我们经常使用到交叉熵损失函数，需要注意的是：由于交叉熵损失函数里有对数计算，因此对数的真数部分不能为0 阅读全文
posted @ 2018-09-10 16:47 Neal_Pu 阅读(6974) 评论(0) 推荐(0)
生成tfrecords格式数据和使用dataset API使用tfrecords数据
摘要：TFRecords是TensorFlow中的设计的一种内置的文件格式，它是一种二进制文件，优点有如下几种： 统一不同输入文件的框架 它是更好的利用内存，更方便复制和移动（TFRecord压缩的二进制文件, protocal buffer序列化） 是用于将二进制数据和标签（训练的类别标签）数据存储在同 阅读全文
posted @ 2018-09-03 00:14 Neal_Pu 阅读(3279) 评论(0) 推荐(1)
RNN学习笔记
摘要：传统的语言模型在预测序列中的下一个单词时只会考虑到前面的有限个单词，RNN与之不同，RNN网络会根据前面已经出现的所有输入来调整整个网络。下图是RNN网络的典型结构： Xt表示在t时刻的输入，ht表示t时刻的隐藏层状态，yt表示t时刻的输出。每一个隐藏层都有许多的神经元，这些神经元将上一层的输入做线 阅读全文
posted @ 2018-07-28 09:57 Neal_Pu 阅读(8244) 评论(0) 推荐(0)
CNN学习笔记
摘要：传统的全连接网络在处理大尺寸图片数据时，由于每层网络与前层都是全连接，所以网络的参数会变得很庞大，这导致网络训练起来速度很慢，而且网络的参数太多会导致过拟合的问题。相比于全连接网络，卷积网络层有3个维度：宽度、高度和深度。卷积层的每一个神经元不是与上层的所有神经元连接，而是与上层网络的部分区域神经元 阅读全文
posted @ 2018-07-18 12:27 Neal_Pu 阅读(197) 评论(0) 推荐(0)
Batch Normalization
摘要：批量归一化： 1、 为什么要进行特征缩放（Feature Scaling）？ 当输入数据在不同维度上的数值差异较大时，在前向传播时就会存在同样权重大小的变化在不同维度上的影响不同。如下左图所示，在w1的方向上，损失随w1的变化较慢，而在w2的方向上，损失随w2的变化较快。这样就会存在一个问题：模型在 阅读全文
posted @ 2018-07-11 00:00 Neal_Pu 阅读(205) 评论(0) 推荐(0)