什么是深度学习 深度学习（deep learning）、机器学习（machine learning）、神经网络（neural network）以及人工智能（artificial intelligence），这几个概念在我们日常海量的信息来源中常常容易被混淆。我认为以下这幅图能够较为清晰地阐明它们之间 ...

squeeze() 和 unsqueeze()函数 torch.squeeze(A，N) torch.unsqueeze()函数的作用减少数组A指定位置N的维度，如果不指定位置参数N，如果数组A的维度为（1，1，3）那么执行 torch.squeeze(A，1) 后A的维度变为 （1，3），中间的维 ...

DeepSeek-R1 模型微调系列 DeepSeek-R1 模型微调系列一. 前言介绍本文内容：1.1 项目背景1.2 LoRA和 QLoRA 简介1.3 LLaMA 架构和 Qwen 架构LLaMA 架构Qwen 架构二. 环境准备2.1 Unsloth 安装（显卡版本-暂时不用）2.2 创建P ...

论文提出了Tree-hybrid MLP（T-MLP）方法，其核心思想是结合GBDT的特征选择和模型集成优势与DNN的高维特征空间和光滑优化特性，通过张量化GBDT特征门、DNN架构剪枝和反向传播协同训练MLP模型，以实现高效、有效的表数据预测。 ...

卷积神经网络CNN CNN原理 关于CNN的原理本文使用代码的方式来直观理解卷积中各个操作过程。 卷积 卷积层是CNN的核心组件，通过可学习的卷积核在输入特征图上进行滑动窗口操作。每个位置上，卷积核与输入进行逐元素乘积并求和，得到输出特征图上的一个值。多个卷积核并行工作可以提取不同的特征模式。卷积层 ...

高斯分布，也被称为正态分布，广泛应用于连续型随机变量分布的模型中。高斯分布可以从多个不同的角度来理解。例如，对于一个一元实值向量，使得熵取得最大值的是高斯分布。这个性质对于多元高斯分布也成立。当我们考虑多个随机变量之和的时候，也会产生高斯分布。观察式多元高斯分布的形式，考虑其中在指数位置上出现的二次... ...

13.向量的线性相关性&内积&范数&正交 13.1 向量组的线性相关性 13.1.1 定义 对于任意向量组\(A:a_1,a_2,a_3,...,a_n\)，存在不全为0的数\(k_i(i=1,2,3,...,m)\)，使： \[\tag{1} \sum_{i=1}^mk_i\cdot a_i=0 ...

12.矩阵的秩及相关性质 12.1 k阶子式 12.1.1 k阶子式示例 设存在以下矩阵： \[X_{mn}= \begin{bmatrix} x_{11} & x_{12} & x_{13} & ... & x_{1n}\\ x_{21} & x_{22} & x_{23} & ... & x_{ ...

11.三种初等矩阵及其性质 11.1 三种初等矩阵 设存在列向量A： \[A= \begin{bmatrix} a_1\\ a_2\\ a_3\\ a_4\\ ...\\ a_i\\ ...\\ a_j\\ ...\\ a_n \end{bmatrix} \]则以下\(X_1,X_2,X_3\)三种 ...

离散随机变量的二项分布和多项式分布，以及连续随机变量的高斯分布，这些都是参数分布（parmetric distribution）的具体例子。之所以被称为参数分布，是因为少量可调节的参数控制了整个概率分布。在频率派的观点中，我们通过最优化某些准则（例如似然函数）来确定参数的具体值。而在贝叶斯派的观点中... ...

10.矩阵的初等变换 10.1 矩阵初等变换的规则 对于任意存在第\(i,j\)两行、或第\(i,j\)两列的矩阵，满足以下初等变换规则： 10.1.1 对调 对调\(i,j\)两行，记为：\(r_i \leftrightarrow r_j\) 对调\(i,j\)两列，记为：\(c_i \leftr ...

9.矩阵的逆-分块矩阵 9.1 分块矩阵的加法 设矩阵\(A、B均为m\times n\)的矩阵，且A、B均按相同的方式划分为\(s \times t\)块，其中： \[A= \begin{bmatrix} A_{11} &...&A_{1t}\\ &...&\\ A_{s1} &...&A_{st ...

8.矩阵的逆 8.1 相关性质 性质1：若矩阵A可逆，则\(A^{-1}\)也可逆： \[(A^{-1})^{-1}=A \] 性质1的证明：\(A \cdot A^{-1}=E\) 性质2：若矩阵A可逆，则\(\lambda \cdot A\)也可逆： \[(\lambda \cdot A)^{- ...

7.矩阵的逆-定义和定理 7.1 逆矩阵的定义 对于n阶矩阵A，存在一个n阶矩阵B，使： \[AB=BA=E \]则称矩阵A是可逆的。 且B是A的逆矩阵，简称“逆阵”，记为： \[B=A^{-1} \]7.2 对逆矩阵的理解 若存在矩阵\(A_{n×n}\)、\(X_{n×1}\)、\(Y_{n×1 ...

6.矩阵的行列式-代数余子式 6.1 余子式和代数余子式 设存在n阶行列式\(|A|\)，并存在\(|A|\)中的元素\(a_{ij}\) 则\(|A|\)中，除去元素\(a_{ij}\)所在的第\(i\)行和第\(j\)列所有元素后，剩下元素所形成的行列式称为\(a_{ij}\)的\(余子式\)， ...

5.矩阵的行列式-相关性质 若存在行列式： \[|A|= \begin{vmatrix} a_{11} & a_{12} & a_{13} &...& a_{1n}\\ a_{21} & a_{22} & a_{23} &...& a_{2n}\\ a_{31} & a_{32} & a_{33} ...

4.矩阵的行列式-特殊矩阵的行列式求值 （1）设存在以下n阶行列式\(|A_1|\)： \[|A_1|= \begin{vmatrix} \lambda_{11}\\ & \lambda_{22}\\ && \lambda_{33}\\ &&&\lambda_{44}\\ &&&&...\\ &&& ...

3.矩阵的行列式-二阶行列式&克莱姆法则&n阶行列式计算 3.1 二阶行列式 定义： \[形如 \begin{vmatrix} a & b\\ c & d \end{vmatrix} 的式子为二阶行列式，其中\begin{vmatrix} a & b\\ c & d \end{vmatrix}=ad ...

2.矩阵的迹&转置&对称矩阵 2.1 矩阵的迹 定义： \(n \times n\)矩阵主对角线上元素的总和称为\(矩阵的迹\) 矩阵X的迹记为\(tr(X)\) 示例： 设存在以下\(n \times n\)的矩阵： \[X_{n \times n}= \begin{bmatrix} x_{11} ...

1.矩阵的基本概念&意义&特殊矩阵&基本运算 1.1 矩阵的定义： 矩阵是由\(m \times n\)个数排成的数表。 如以下矩阵： \[A= \begin{bmatrix} a_{11} & a_{12} & a_{13} & ... & a_{1n}\\ a_{21} & a_{22} & a ...