zhchoice

摘要： 1. AlexNet 论文的关键创新点 (2012, ImageNet Classification with Deep Convolutional Neural Networks) 创新点 简述 意义 ReLU 激活函数 用 ReLU 替代 Sigmoid/Tanh 缓解梯度消失，训练速度更快 D 阅读全文

摘要： 本实验旨在评估 LeNet 卷积神经网络 在不同复杂度数据集上的表现，以验证其泛化能力与局限性。我们选择了三个典型数据集： • MNIST：28×28 灰度手写数字，任务简单、类内差异小； • Fashion-MNIST：28×28 灰度服饰图像，较 MNIST 更复杂，类间区分难度提升； • CI 阅读全文

摘要： CNN 发展历程 • LeNet (1998)：局部感受野 + 池化，第一次真正提出 CNN • AlexNet (2012)：ReLU + Dropout + 数据增强 + GPU，加速深度网络训练 • VGG (2014)：3×3 小卷积堆叠，结构简洁、可扩展 • Inception (2014 阅读全文

摘要： 在上一章里，我们通过实验验证了 MLP 在 MNIST 上表现优异，但在平移、旋转、噪声干扰以及跨数据集时暴露出明显局限性。这也就引出了我们要学习的下一个重要模型 —— 卷积神经网络（CNN, Convolutional Neural Network）。CNN 的出现，正是为了解决 MLP 丢失空间 阅读全文

摘要： ！！！本次模拟训练的时长在没有下载的基础上且使用cuda加速的情况下是4min多。 （需要保证体验的话，需要使用cuda或者mps进行加速，且提前下载数据集） 在上一篇实验中，我们看到 MLP 在 MNIST 手写数字识别上可以达到接近 97.5% 的准确率。这说明 MLP 具备了较强的拟合能力，只 阅读全文

摘要： ！！！一下训练的样本我是通过mps进行加速了训练过程中，如果使用NVIDIA 显卡需自己进行调整device 通过torchvision.datasets.MNIST 我们可以下载到已经准备好的素材，可以通过一下代码进行训练 import torch import torch.nn as nn im 阅读全文

摘要： 前面我们讲到 MLP 的本质就是“函数建模”，即通过调整参数（权重 w、偏置 b）去逼近输入与输出之间的关系。 那么问题来了：如果我们给出一组很简单的线性数据，比如一条直线 y = mx + b，MLP 能不能自己学会这条直线呢？ 答案是 可以。这就是线性回归在神经网络框架中的最小演示。 二、实验设 阅读全文

摘要： 回顾上章：MLP 在引入非线性后，可以形成弯曲的边界 ，但问题：它是怎么知道应该弯成什么样？ **答案：通过 损失函数衡量差距 + 反向传播更新参数。 二、损失函数（Loss Function）的角色 • 定义：衡量模型预测与真实结果的差异。 • 分类任务常用： • 二分类 → 二元交叉熵 (Bin 阅读全文

摘要： 定力内容：一个 两层的前馈神经网络（只要隐藏层足够大，且使用非线性激活函数），就可以逼近任意连续函数。 • 对分类问题的启示： 分类其实就是在寻找一个函数 \(f(x)\)，让它在不同类别上输出不同的值。 接下来我们通过代码演示 激活函数引入非线性 → 决策边界可以弯曲； 如图所示的问题我们通过原有 阅读全文

摘要： MLP：Multi-Layer percretron 多层感知机 单层感知机的局限性 • 单层感知机能做的只是用 一条直线 / 超平面 来分隔数据。 • 问题：遇到 异或（XOR）问题 或者更复杂的数据分布，就没办法仅靠一条直线来分开。 例如： • 点 (0,0) 和 (1,1) 属于一类 • 点 阅读全文