随笔分类 - 深度学习与Tensorflow
1
记录深度学习过程！
摘要：原文地址：https://www.cnblogs.com/liaohuiqiang/p/9740382.html R-CNN（Region-based CNN） motivation：之前的视觉任务大多数考虑使用SIFT和HOG特征，而近年来CNN和ImageNet的出现使得图像分类问题取得重大突破
阅读全文
摘要：原文地址：https://www.cnblogs.com/liaohuiqiang/p/9691458.html 前言 在论文笔记：CNN经典结构1中主要讲了2012-2015年的一些经典CNN结构。本文主要讲解2016-2017年的一些经典CNN结构。 CIFAR和SVHN上，DenseNet-B
阅读全文
摘要：原文地址：https://www.cnblogs.com/liaohuiqiang/p/9606901.html 前言 本文主要介绍2012-2015年的一些经典CNN结构，从AlexNet，ZFNet，OverFeat到VGG，GoogleNetv1-v4，ResNetv1-v2。 在论文笔记：C
阅读全文
摘要：原文链接：https://www.cnblogs.com/liaohuiqiang/p/9609162.html ImageNet 是一个超过15 million的图像数据集，大约有22,000类。 是由李飞飞团队从2007年开始，耗费大量人力，通过各种方式（网络抓取，人工标注，亚马逊众包平台）收集
阅读全文
摘要：Projects' Models 神经网络的基本概念 如无特殊说明, 按以下计： 线性层(L)为：\(h=X*W+b\) 全连接层(FC)为: 线性层L+ReLU层 Softmax层(S)为：\(Softmax(x_{i}) = \frac{e^{x_{i}}}{\sum_{i}e^{x_{i}}}
阅读全文
摘要：总结 为了学习和使用tensorflow作为工具, 我决定逐步亲自动手一行行写一下： [x] MNIST手写模型; [x] MNIST多层感知机(前馈神经网络,2层); [x] MNIST卷积网络(2层); [ ] cifar 10卷积网络(2层); [ ] word2vec; [ ] 循环神经网络
阅读全文
摘要：循环神经网络(RNN) 卷积网络专门处理网格化的数据，而循环网络专门处理序列化的数据。 一般的神经网络结构为： 一般的神经网络结构的 前提假设 是： 元素之间是相互独立的，输入、输出都是独立的 。 现实世界中的输入并不完全独立，如股票随时间的变化，这就需要 循环网络 。 循环神经网络的本质 循环神经
阅读全文
摘要：为什么学习word2word2vec模型? 该模型用来学习文字的向量表示。图像和音频可以直接处理原始像素点和音频中功率谱密度的强度值， 把它们直接编码成向量数据集。但在"自然语言处理"中，对语句中的单词(Word)进行编码，无法提供 不同词汇之间的关联信息。这种"独立的、离散的"符号将导致数据稀疏，
阅读全文
摘要：TensorFlow运作方式 要用到的代码都在 "Github" 上。当然，如果你本地装了TensorFlow，也可以用 "Everything" 直接搜索以下文件： "mnist.py" fully_connected_feed.py 要开始训练，只需要： 准备数据，下载数据； 设置 输入与占位符
阅读全文
摘要：卷积网络 卷积神经网络(Convolutional Neural Network,CNN)专门处理 具有类似网格结构的数据 的神经网络。如： 时间序列数据(在时间轴上有规律地采样形成的一维网格)； 图像数据(二维的像素网格)； 卷积网络 是指至少在网络的一层中使用卷积运算来替代一般的矩阵乘法运算的神
阅读全文
摘要：深度模型的优化 回顾概念： 代价函数时训练集上损失函数的平均： $$J(\theta)=E_{(x,y)\sim \hat{p}_{data}}L(f(x;\theta),y) \tag{1}$$ 引入概念： |概念|描述| |: :|: :| |批量梯度算法|使用整个训练集的优化算法，可计算更精确
阅读全文
摘要：深度学习的正则化 回顾一些基本概念 |概念|描述| |: :|: :| |设计矩阵|数据集在特征向量上的表示| |训练误差|学习到的模型与训练集标签之间的误差| |泛化误差(测试误差)|学习到的模型与测试集之间的误差| |欠拟合|模型的训练误差很大| |过拟合|训练误差小，但训练误差与测试误差之间差
阅读全文
摘要：深度前馈网络(前馈神经网络,多层感知机) 神经网络基本概念 前馈神经网络在 模型输出和模型本身之间没有反馈连接 ;前馈神经网络包含反馈连接时，称为 循环神经网络 。 前馈神经网络用 有向无环图 表示。 设三个函数组成的链：$f_3(f_2(f_1))$，$f_1$为网络第一层，叫 输入层 。$f_2
阅读全文
摘要：TensorFlow学习笔记6 数值计算 本笔记内容为“数值计算的基础知识”。内容主要参考《Deep Learning》中文版。 $X$表示训练集的矩阵，其大小为m行n列，m表示训练集的大小(size)，n表示特征的个数； $y$表示训练集对应标签，其大小为m行，m表示训练集的大小(size)； $
阅读全文
摘要：TensorFlow学习笔记5 概率与信息论 本笔记内容为“概率与信息论的基础知识”。内容主要参考《Deep Learning》中文版。 $X$表示训练集的设计矩阵，其大小为m行n列，m表示训练集的大小(size)，n表示特征的个数； $W$表示权重矩阵，其大小是n行k列，n为输入特征的个数，k为输
阅读全文
摘要：TensorFlow学习笔记4 线性代数基础 本笔记内容为“AI深度学习”。内容主要参考《Deep Learning》中文版。 $X$表示训练集的设计矩阵，其大小为m行n列，m表示训练集的大小(size)，n表示特征的个数； $W$表示权重矩阵，其大小是n行k列，n为输入特征的个数，k为输出(特征)
阅读全文
摘要：TensorFlow学习笔记3 从MNIST开始学习softmax 本笔记内容为“从MNIST学习softmax regression算法的实现”。 注意：由于我学习机器学习及之前的书写习惯，约定如下： $X$表示训练集的设计矩阵，其大小为m行n列，m表示训练集的大小(size)，n表示特征的个数；
阅读全文
摘要：TensorFlow学习笔记2 性能分析工具 性能分析工具 1. 在spyder中运行以下代码: 使用 进行处理，运算完成后会自动关闭session，不需要再显示地 上述代码将session的运行情况写入到 文件。 注意 ：如果上述代码在spyder中报错，报错内容为 Couldn't open C
阅读全文
摘要：TensorFlow学习笔记1 入门 作者: "YunYuan" 写在前面 本笔记是我学习 "TensorFlow官方文档中文版" 的读书笔记，由于尚未搭建好 "Github" 的个人博客的评论功能，故尚不方便与各位交流。如有问题，可 "邮箱" 联系。 TensorFlow运算的本质是 有状态的数据
阅读全文
摘要：TensorFlow学习笔记0 安装TensorFlow环境 作者: "YunYuan" 转载请注明来源，谢谢！ 写在前面 系统: Windows Enterprise 10 x64 CPU：Intel(R) Core(TM) i7 8700 CPU @ 3.20GHz GPU: NVIDIA Ge
阅读全文
1
浙公网安备 33010602011771号