大模型数学基础

大模型技术之数学基础

第 1 章 高等数学

1.1 导数

1.1.1 导数的概念

导数（derivative）是微积分中的一个概念。函数在某一点的导数是指这个函数在这一点附近的变化率（即函数在这一点的切线斜率）。导数的本质是通过极限的概念对函数进行局部的线性逼近。

1.1.2 基本函数的导数

1.1.3 导数的求导法则

1.1.4 利用导数求极值

1.1.5 二阶导数

1）二阶导数的概念

1.2 偏导与梯度

1.2.1 偏导数

1.2.2 方向导数

1.2.3 梯度

第 2 章 线性代数

2.1 标量与向量

2.1.1 标量与向量的概念

2.1.2 向量运算

2.1.3 向量范数

2.2 矩阵与张量

2.2.1 矩阵的概念

2.2.2 矩阵乘法

2.2.3 矩阵转置

2.2.4 矩阵的逆

2.2.5 其他矩阵运算

2.2.6 张量

2.3 矩阵求导

2.3.1 典型计算场景

2.3.2 常用求导结果

2.3.3 梯度矩阵

第 3 章 概率论

3.1 概率

3.1.1 概率的概念

概率是对事件发生的可能性的度量。通常将事件A的概率写作 。

3.1.2 概率的计算

例如：现有一个装有10个球的袋子，其中有6个红球和4个蓝球。从中随机抽取两个球。我们定义以下事件：

事件A：第一个抽到的是红球。

事件B：两个抽到的球都是红球。

3.2 概率分布

概率分布，是指用于表述随机变量取值的概率规律。事件的概率表示了一次试验中某一个结果发生的可能性大小。如果试验结果用变量X的取值来表示，则随机试验的概率分布就是随机变量的概率分布，即随机变量的可能取值及取得对应值的概率。

3.3 贝叶斯定理

贝叶斯定理（Bayes' Theorem）是概率论中的一个核心定理，用于描述在已有条件概率信息的基础上，如何更新或计算事件的概率。它以英国数学家托马斯·贝叶斯的名字命名。贝叶斯定理特别适合处理“逆向概率”问题，即从结果反推原因的概率。

3.3.1 全概率公式

3.3.2 贝叶斯公式

3.4 似然函数

3.4.1 似然函数的概念

3.4.2 极大似然估计