文章分类 - AI-5-1深度学习-TensorFlow
摘要:图像分类简介 学习目标 知道图像分类的目的 知道imageNet数据集 1 图像分类 图像分类实质上就是从给定的类别集合中为图像分配对应标签的任务。也就是说我们的任务是分析一个输入图像并返回一个该图像类别的标签。 假定类别集为categories = {dog, cat, panda},之后我们提供
阅读全文
摘要:参数初始化可以有效减缓梯度爆炸和梯度消失现象,可以让我们训练层数更多的神经网络。 对于某一个神经元来说,需要初始化的参数有两类:一类是权重W,还有一类是偏置b,偏置b初始化为0即可。而权重W的初始化比较重要,我们着重来介绍常见的初始化方式。 引入 假设一个神经元有三个输入,且b=0: 那么这个映射使
阅读全文
摘要:全连接神经网络处理图像存在的问题 利用全连接神经网络对图像进行处理存在以下两个问题 需要处理的数据量大,效率低假如我们处理一张 1000x1000 像素的图片,参数量如下: 1000x1000x3=3,000,000 这么大量的数据处理起来是非常消耗资源的 图像在维度调整的过程中很难保留原有的特征,
阅读全文
摘要:使用手写数字的MNIST数据集如上图所示,该数据集包含60,000个用于训练的样本和10,000个用于测试的样本,图像是固定大小(28x28像素),其值为0到255。 📊 MNIST 数据集基本信息 数据集 样本数 图像大小 数据类型 训练集 60,000 28×28 像素 uint8 (0-25
阅读全文
摘要:这是一个三层神经网络: 这是一个训练样本: 假设一共有30个训练样本X1~X30,并且我们使用小批量梯度下降的方式,每次选取五个样本进行训练,这五个样本我们称为一个批量(batch)。 假设某个batch样本服从下面的分布: 然后经过层次网络非线性变换之后,每层学习到的分布都将无法预测: 并且,前一
阅读全文
摘要:在设计机器学习算法时不仅要求在训练集上误差小,而且希望在新样本上的泛化能力强。许多机器学习算法都采用相关的策略来减小测试误差,这些策略被统称为正则化。因为神经网络的强大的表示能力经常遇到过拟合,所以需要使用不同形式的正则化策略。 正则化通过对算法的修改来减少泛化误差,目前在深度学习中使用较多的策略有
阅读全文
摘要:前面我们学习了神经网络权重W和偏移b的初始化方法,也知道了不同场景下损失函数的计算方法,那么如何根据损失函数来优化神经网络的参数W和b呢? 梯度下降算法【回顾】 假设需要一条直线来回归拟合三个点: 假设直线的斜率w已知,现在要找到一个最好的截距b,使得三个点到直线的距离之和最小: 我们使用最小二乘法
阅读全文
摘要:在深度学习中,损失函数是用来衡量模型参数的质量的函数,衡量的方式是比较网络输出和真实输出的差异,损失函数在不同的文献中名称是不一样的,主要有以下几种命名方式: 分类任务 在深度学习的分类任务中使用最多的是交叉熵损失函数,所以在这里我们着重介绍这种损失函数。 多分类任务 在神经网络中,输出层的原始输出
阅读全文
摘要:神经网络概述 人工神经网络(Artificia NeuralNetwork,简写为ANN)也简称为神经网络(NN),是一种模仿生物神经网络结构和功能的计算模型。人脑可以看做是一个生物神经网络,由众多的神经元连接而成。各个神经元传递复杂的电信号,树突接收到输入信号,然后对信号进行处理,通过轴突输出信号
阅读全文
摘要:激活函数是神经网络中的核心组件,决定了神经元的输出形式和非线性特性。 一、认识激活函数 神经元是如何工作的? 神经元接收到一个或多个输入,对他们进行加权并相加,总和通过一个非线性函数(激活函数)产生输出。 激活函数(Activation Function),就是在神经网络的神经元上运行的函数,负责将
阅读全文
摘要:讲在前面 本文在TensorFlow 2.0基础上进行讲解,TensorFlow 2.0和TensorFlow 1.0之间存在较多差异,请谨慎识别!(版本更新详参文末:版本更新) TensorFlow介绍 官网:https://www.tensorflow.org 深度学习框架TensorFlow一
阅读全文
摘要:什么是深度学习 在介绍深度学习之前,我们先看下人工智能,机器学习和深度学习之间的关系: 机器学习是实现人工智能的一种途径,深度学习是机器学习的一个子集,也就是说深度学习是实现机器学习的一种方法。 深度学习与机器学习的区别 特征提取方面 传统机器学习算术依赖人工设计特征,并进行特征提取,而且需要大量领
阅读全文
摘要:深度学习(Deep Learning)是一种特殊的机器学习,(也称为深度结构学习【Deep Structured Learning】、层次学习【Hierarchical Learning】或者是深度机器学习【Deep Machine Learning】)是一类算法集合,是机器学习的一个分支。是借鉴了
阅读全文