YZG5N

摘要： 一、引言 上一篇我们学习了 Transformer 在自然语言处理中的威力。2020年，Google 发表论文《An Image is Worth 16x16 Words》，将 Transformer 引入计算机视觉——Vision Transformer（ViT）诞生了。 这一突破打破了 CNN 阅读全文

摘要： 一、引言 上一篇我们学习了 RNN 和 LSTM，它们通过循环结构处理序列数据。但 RNN 有一个根本性的瓶颈： 必须按顺序处理，无法并行 这导致训练长序列时效率极低。2017年，Google 发表论文《Attention Is All You Need》，提出了 Transformer 架构——完 阅读全文

摘要： 一、引言 前面我们学习的 CNN 擅长处理空间数据（图像），但现实世界还有大量序列数据： 一句话里的词是有顺序的； 股票价格随时间变化； 音乐是一段连续的音符序列； 传感器数据是时间序列。 这些数据有一个共同特点：当前状态与之前的状态有关。CNN 无法建模这种时序依赖，我们需要一种新的网络结构——循 阅读全文

摘要： 一、引言 训练神经网络，本质上是在做一件事：找到一组参数 \(\theta\)，让损失函数 \(L(\theta)\) 尽可能小。 这个"找"的过程，就是优化器的工作。 你可能遇到过这样的困惑： 用 SGD 训练，loss 抖动剧烈，收敛很慢； 换成 Adam，一开始很快，但最终精度比 SGD 差； 阅读全文

摘要： 一、引言 在第十篇学习 CNN 时，我们已经用到了 Dropout 和 BatchNorm。你有没有好奇过： 为什么要"随机丢弃神经元"？加一个"批归一化层"到底在做什么？ 这些技巧，都是为了解决深度学习中最核心的挑战之一——过拟合（Overfitting）。 本篇从「过拟合的本质」出发，系统讲解各 阅读全文

摘要： 机器学习基础（十）：卷积神经网络CNN 一、引言 在前面的学习中，我们已经掌握了 PyTorch 的基础用法，能够构建简单的全连接神经网络。但当面对图像数据时，我们遇到了新的问题： 一张 224×224 的彩色图像有 150,528 个像素，如果用全连接层处理，参数量会爆炸！ 全连接网络的困境： 参 阅读全文

摘要： 一、引言 在前面的学习中，我们已经掌握了机器学习的基础算法，从线性回归到逻辑回归，从 NumPy 手写实现到使用 Scikit-learn。但随着问题复杂度的提升，我们遇到了新的挑战： 如何构建和训练更复杂的模型，比如深度神经网络？ 传统的 NumPy 实现虽然有助于理解原理，但在实际应用中面临诸多 阅读全文

摘要： 一、引言 在前面的学习中，我们已经掌握了线性回归、损失函数、反向传播以及激活函数等核心概念。但线性回归有一个明显的局限性： 它只能预测连续值，无法直接处理分类问题。 而在现实世界中，分类问题无处不在： 邮件是垃圾邮件还是正常邮件？ 肿瘤是良性还是恶性？ 客户是否会购买产品？ 这些问题都需要模型输出离 阅读全文

摘要： 一、引言 在前面的学习中，我们已经了解了线性回归、损失函数以及反向传播等核心概念。但如果你仔细思考，会发现一个问题： 如果神经网络每一层都只是做“线性变换”，那无论堆多少层，本质上还是一个线性模型。 这显然无法解决复杂问题。 激活函数（Activation Function） 的引入，就是为了打破这 阅读全文

摘要： 一、今日目标 理解线性回归的本质 掌握损失函数与优化过程 手写一个完整的训练流程 通过实验观察模型如何收敛 二、什么是线性回归？ 线性回归（Linear Regression）是最基础的监督学习模型之一，其目标是： 用一个线性函数去拟合输入与输出之间的关系 最简单的一维形式： \[y = wx + 阅读全文