摘要： 我们来详细推导并计算卷积层的前向传播和反向传播在计算成本（乘法与加法次数）和内存占用方面的表达式。 📌 基本设定 输入尺寸：$ c_i \times h \times w $ 卷积核尺寸：$ c_o \times c_i \times k_h \times k_w $ 填充：$ (p_h, p_w 阅读全文

摘要： 问题：假设我们有两个卷积核，大小分别为\(k_1\)和\(k_2\)（中间没有非线性激活函数）。 证明运算可以用单次卷积来表示。 这个等效的单个卷积核的维数是多少呢？ 反之亦然吗？ 在卷积神经网络（CNN）中，实际使用的操作是“互相关”（cross-correlation），而不是标准意义上的“卷积 阅读全文

摘要： torch.nn.parameter.Parameter 是 PyTorch 中的一个类，它是 Tensor 的一个子类。特别之处在于，当你将其作为属性赋值给 Module 时，它会被自动添加到该模块的参数列表中，并可以通过如 parameters() 迭代器访问。这一特性使得管理模型参数变得更为方 阅读全文

摘要： 你提供的内容非常详尽地总结了神经网络中正则化技术（L2、Dropout）、权重初始化方法（Xavier、He），以及打破对称性与参数初始化的重要性。为了帮助你更清晰地理解这些内容之间的逻辑关系和核心思想，下面我将从以下几个方面进行系统梳理与总结： 🧠 一、防止过拟合的两大利器：L2正则化 & Dr 阅读全文

摘要： 什么是卷积 🧠 一、核心思想：卷积是特殊的二维 MLP ✅ 卷积的两个关键归纳偏置（Inductive Bias） 平移不变性（Translation Invariance） 同一个特征检测器可以在图像的不同位置使用。 数学上体现为：权重张量 \(\mathbf{V}\) 不依赖于位置 \((i, 阅读全文

摘要： 您提供了一个详细的PyTorch torch.nn模块列表，这些模块是构建神经网络模型的基本组件。下面是对这些组件的简要总结： 容器 Module：所有神经网络模块的基类。 Sequential、ModuleList、ModuleDict等容器用于以不同方式组织子模块。 卷积层 包括1D、2D和3D 阅读全文

摘要： 以下是关于 torch.optim 的总结和解释： 1. torch.optim 是什么？ torch.optim 是 PyTorch 中用于实现各种优化算法的包。它提供了许多常用的优化器（如 SGD、Adam 等），并且接口设计通用，便于扩展和集成更复杂的优化算法。 2. 如何使用优化器？ (1) 阅读全文

摘要： python 迭代器和生成器 总结：Python3 迭代器与生成器 迭代器和生成器是 Python 中用于处理集合元素的核心工具，它们提供了高效、灵活的迭代方式。以下是关于迭代器和生成器的详细总结和补充。 1. 迭代器 (Iterator) 什么是迭代器？ 迭代器是一个可以记住遍历位置的对象。 它允 阅读全文

摘要： 前言 本文为代码随想录 单调栈刷题 每日温度 class Solution { public: vector<int> dailyTemperatures(vector<int>& temperatures) { stack<int> st; st.push(0); vector<int> res( 阅读全文

摘要： nn.Module nn.Module 是 PyTorch 中所有神经网络模块的基类。任何自定义的神经网络模型都需要继承这个类，并实现其核心方法。 1. nn.Module 的作用 nn.Module 是 PyTorch 中所有神经网络模块的基础类。它提供了以下功能： 参数管理：自动注册和管理模型中 阅读全文