钰见梵星

摘要： 深度卷积网络 LeNet-5是一种开创性的神经网络结构，针对手写数字识别的灰度图像，网络架构如下图所示： LeNet输入是 \(32 \times 32 \times 1\) 维的手写数字识别的灰度图像。 卷积层 1：6 个 \(5 \times 5\) 卷积核，步幅 1，无 Padding，输出 阅读全文

摘要： 卷积神经网络 随着输入数据规模的增大，计算机视觉的处理难度也大幅增加。 \(64 \times 64 \times 3\) 的图片特征向量维度为12288，而 \(1000 \times 1000 \times 3\) 的图片数据量达到了300万。随着数据维度的增加，神经网络的参数量也会急剧上升。如 阅读全文

摘要： 机器学习策略Ⅱ 误差分析 在训练算法的时候，可以通过人工检查算法在开发集或测试集上的错误，分析错误类型，来识别值得优先解决的问题。这样子可以帮助开发者确定哪些方向有最大的性能改进空间，避免将大量时间浪费在影响较小的错误类型上。 基本流程是首先从开发集或测试集中选择100个错误样本进行分析，人工标记每 阅读全文

摘要： 机器学习策略Ⅰ 在构建一个好的监督学习系统时，通常需要确保以下四个方面： 系统需要在训练集上能够很好地拟合数据，达到某种可接受的性能水平（如接近人类水平）。如果训练集表现不好，可以使用更大的模型（深度神经网络）、改进优化算法（Adam）、增加训练时间或数据量。 系统还需要在验证集上表现良好，避免过拟 阅读全文

摘要： 超参数调整、Batch归一化和程序框架 超参数调整 在深度学习中，有许多超参数需要调整，不同超参数的重要性有所不同，可分为以下优先级： 第一优先级是学习率 \(\alpha\) 。 第二优先级是动量梯度下降参数 \(\beta\) ，隐藏层神经元数量，以及mini-batch大小。 第三个优先级是隐 阅读全文

摘要： 优化算法 Batch梯度下降法每次对整个训练集进行计算，这在数据集很大时计算效率低下，因为每次更新权重前必须先处理整个训练集。 可以将训练集划分为多个小子集，称为mini-batch。每次只使用一个mini-batch来计算梯度并更新参数。取出 \(x^{(1)}\) 到 \(x^{(1000)}\ 阅读全文

摘要： 深度学习的实践层面 设计机器学习应用 在训练神经网络时，超参数选择是一个高度迭代的过程。我们通常从一个初步的模型框架开始，进行编码、运行和测试，通过不断调整优化模型。 数据集一般划分为三部分：训练集、验证集和测试集。常见的比例是60%用于训练，20%用于验证，20%用于测试。然而，当数据量非常大时， 阅读全文

摘要： 深度神经网络 这是一个深度神经网络 用 \(L=4\) 表示神经网络层数，用 \(n^{[l]}\) 表示第 \(l\) 层神经元数量，有 \(n^{[1]}=n^{[2]}=5\)， \(n^{[3]}=3\)， \(n^{[4]}=n^{[L]}=1\)， \(n^{[0]}=n_x=3\)。 阅读全文

摘要： 浅层神经网络 浅层神经网络通常指包含一个隐藏层的神经网络。这个网络由输入层、隐藏层和输出层构成： 输入层：输入层负责接收网络的输入特征，通常表示为列向量 \(x^T = [x_1, x_2, x_3]\)，每个输入特征 \(x_i\) 代表样本的一个属性。输入特征的激活值 \(a^{[0]}\) 就 阅读全文

摘要： 神经网络基础知识 二分类任务(Binary Classification) 在二分类问题中，目标是将输入（如图片、文本或其他数据）分为两类之一，通常使用标签0和1来表示不同的类别。以图像识别为例，假设我们需要判断一张图片中是否包含猫。我们可以将包含猫的图片标记为标签1，不包含猫的图片标记为标签0。模 阅读全文