随笔分类 - 机器学习
1
摘要：PyTorch 2.x 深度学习专题【左扬精讲】—— CNN 的正向传播：从输入图像到类别概率的完整链路 卷积神经网络（Convolutional Neural Network，CNN）已经在图像分类、目标检测、语义分割等视觉任务中取得突破性成果。无论网络结构如何演进（LeNet → VGG → R
阅读全文
摘要：PyTorch 深度学习专题【左扬精讲】—— 深度学习结构正则化技术学习：从 BatchNorm 到 GroupNorm 在深度学习的实践中，Internal Covariate Shift（内部协变量偏移）是一个核心问题。 随着网络层数加深，前面层参数的微小变化会被后面层放大，导致每层的输入分布不
阅读全文
摘要：PyTorch 深度学习专题【左扬精讲】—— AdamW 优化器详解：解耦权重衰减的正确实现 AdamW 是深度学习中广泛使用的优化器，全称是 "Adam with Decoupled Weight Decay"，即带解耦权重衰减的 Adam。 2019 年由加州大学伯克利分校的研究者提出，是对标准
阅读全文
摘要：机器学习数学基础专题【左扬精讲】—— 深度学习正则化技术详解：从 L1/L2 到参数共享 在深度学习的实践中，过拟合（Overfitting）是一个几乎每个学习者都会遇到的问题。当模型在训练集上表现优异但在测试集上表现不佳时，就说明模型过拟合了。 正则化（Regularization）是一类用于防止
阅读全文
摘要：机器学习数学基础专题【左扬精讲】—— PyTorch 深度可分离膨胀卷积详解与实战 在前两篇文章中，我们学习了卷积神经网络的基础知识和基于 CNN 的 MNIST 分类实战。本篇文章将深入探讨两种重要的卷积变体：深度可分离卷积（Depthwise Separable Convolution）和膨胀卷
阅读全文
摘要：机器学习数学基础专题【左扬精讲】—— 基于卷积的 MNIST 手写体分类实战 在上一篇文章中，我们系统学习了卷积神经网络的基础知识，包括卷积运算的数学原理、PyTorch 中 Conv2d 的使用方法、池化操作以及 Softmax 激活函数。本篇文章将这些理论知识付诸实践，从零开始构建一个完整的 M
阅读全文
摘要：机器学习数学基础专题【左扬精讲】—— 卷积神经网络基础详解：从卷积运算到 CNN 原理 在深度学习的入门旅程中，卷积神经网络（Convolutional Neural Network，CNN）是每一位学习者必须掌握的核心概念。相比于全连接神经网络，CNN 在处理图像、视频等高维数据时展现出卓越的性能
阅读全文
摘要：机器学习数学基础专题【左扬精讲】—— 稀疏特征与稠密特征：特征空间的两个世界 本文涉及的核心模块/API： nn.Embedding ← 稀疏 ID → 稠密向量（核心转换层） nn.Linear ← 全连接层（DNN 基础组件） nn.ReLU ← 激活函数（引入非线性） nn.Sequentia
阅读全文
摘要：机器学习数学基础专题【左扬精讲】—— 大模型推理与部署：从 PyTorch 到 ONNX / TensorRT / vLLM 训练只是大模型落地的第一步。 训练好的模型要真正服务于用户，必须经过推理优化与部署：用 ONNX 跨平台导出，用 TensorRT 做 GPU 极致加速，用 vLLM 处理高
阅读全文
摘要：机器学习数学基础专题【左扬精讲】—— 混合精度与分布式训练：从单机单卡到 DDP、FSDP、DeepSpeed 当模型参数量突破数十亿乃至数千亿时，单卡显存和单机算力成为瓶颈。混合精度训练（AMP）用半精度浮点减少显存占用、加速计算；分布式训练把计算和参数分散到多卡多机上，实现横向扩展。 本文从底层
阅读全文
摘要：机器学习数学基础专题【左扬精讲】—— 学习率调度器全解：Warmup、Cosine、Linear、Polynomial、ReduceLROnPlateau 学习率是优化器的核心超参，但 "固定学习率" 几乎从来不是最优选择。学习率调度器（Learning Rate Scheduler）根据训练步数、
阅读全文
摘要：机器学习数学基础专题【左扬精讲】—— 大模型的优化器详解：从 SGD 到 AdamW，从动量到自适应学习率 优化器（Optimizer）是训练循环中唯一负责 "修改模型参数" 的组件。 前向传播产生预测，损失函数衡量错误，反向传播计算梯度——但真正把梯度转化为参数更新的，是优化器。 本文从最基础的
阅读全文
摘要：机器学习数学基础专题【左扬精讲】—— 大模型的训练循环：Epoch、Batch、Iteration 的三层骨架 在深度学习里，训练循环（Training Loop）不是一个黑盒按钮，而是一套被严格拆解的流水线：Epoch 控制遍历节奏，Batch Loop 控制梯度更新频率，Iteration 才是
阅读全文
摘要：机器学习数学基础专题【左扬精讲】—— 前向传播与反向传播：从数据流到梯度流的完整闭环 在前面的梯度下降系列文章中，我们反复提到两个核心概念：前向传播（Forward Propagation）和反向传播（Backpropagation）。这两个概念构成了神经网络的"任督二脉"——前向传播是数据从输入到
阅读全文
摘要：PyTorch 2.x 深度学习专题【左扬精讲】— 激活函数：从 Sigmoid 到 ReLU 的演进之路 激活函数（Activation Function）是深度神经网络中最核心的组件之一。它决定了神经元是否应该被"激活"，从而影响网络的表达能力。 从 1943 年 McCulloch-Pitts
阅读全文
摘要：机器学习数学基础专题【左扬精讲】— 最小二乘的梯度下降：数值求解、NumPy/PyTorch 实现与大规模实战 本文是传播网络基础算法系列的第三篇，将深入探讨如何用梯度下降算法来求解最小二乘问题。前两篇文章分别介绍了最小二乘法的数学原理和梯度下降算法的核心思想，本篇将这座桥梁：讲解为什么可以用梯度下
阅读全文
摘要：机器学习数学基础专题【左扬精讲】— 梯度下降：从批量到自适应的参数优化演进 梯度下降算法（Gradient Descent）是机器学习、深度学习、优化理论中最核心的算法之一。 它是训练神经网络、求解最小二乘问题、机器学习模型参数优化的基石。本篇文章将深入剖析梯度下降算法的数学原理、几何直觉、各种变体
阅读全文
摘要：机器学习数学基础专题【左扬精讲】— 最小二乘法：线性回归的闭式解与矩阵推导 在机器学习和数据分析领域，最小二乘法（Least Squares Method）是最基础、最重要的参数估计方法之一。它贯穿于线性回归、多项式拟合、曲线拟合等各种场景。本篇文章将系统讲解最小二乘法的数学原理、几何意义、推导过程
阅读全文
摘要：【左扬精讲】SRE 别慌！我用 "故障预测”，"快速定位问题根源"，"性能评估与优化"，"资源分配与规划" 讲概率与贝叶斯算法的实战应用，都是咱运维人能懂的话（含代码） 在 SRE 的运维工作中，不确定性是常态，但概率和贝叶斯算法能帮我们把“模糊的感觉”转化为“可量化的决策依据”。相比基础讲解，本文
阅读全文
摘要：【左扬精讲】SRE 别慌！我用 "服务器监控指标" 讲 KNN 分类算法，从相似度计算到异常识别，都是咱运维人能懂的话（含代码） 一、从 SRE 日常工作理解 KNN 的核心逻辑 作为 SRE，你是否经常遇到这样的场景： 某天监控告警响起，某台服务器 CPU 突然飙升到 90%，你打开监控面板一看
阅读全文
1
浙公网安备 33010602011771号