大模型数学基础3

斜率

这是最直观的几何概念。

• 定义：一条直线的倾斜程度与方向。

对于直线 y = kx + b，斜率 k 可以用两点的坐标差表示：

\[k = \frac{\Delta y}{\Delta x} = \frac{y_2 - y_1}{x_2 - x_1} \]

更一般地，对于曲线上的两点，当两点无限接近时，斜率即导数：

\[k_{\text{切线}} = \lim_{\Delta x \to 0} \frac{f(x_0 + \Delta x) - f(x_0)}{\Delta x} = f'(x_0) \]

• 关键：斜率是一个常数，直线上每一点都相同。

• 几何意义：坡度越大，直线越陡

导数

导数是斜率概念的推广和精髓，用于研究曲线。

• 定义：函数在某一点的瞬时变化率，也就是该点切线的斜率。

• 理解：将曲线无限放大，在极其微小的一段上，它会看起来像一条直线。这条“假想的”直线的斜率，就是该点的导数。

• 记法：对于函数 y = f(x)，在点 x0 的导数记为 f'(x0) 或 dy/dx|_{x=x0}。

• 核心思想：局部线性化 —— 用切线这条直线来近似表示曲线在该点附近的行为。

梯度

梯度是导数概念从单变量函数到多变量函数的自然延伸。

• 定义：一个向量，其每个分量是函数在某一点对各自变量的偏导数。

• 记法：对于函数 L(w, b)（如损失函数），其梯度记为 ∇L 或 grad L。

对于一个 \(n\) 元函数 \(f(x_1, x_2, \dots, x_n)\)，其在点 \(\mathbf{x} = (x_1, x_2, \dots, x_n)\) 处的梯度是一个向量：

\[\nabla f(\mathbf{x}) = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \dots, \frac{\partial f}{\partial x_n} \right) \]

• 最关键的性质：梯度向量的方向，是函数在该点上升最快的方向；梯度的模长（长度），表示函数在这个方向上升的速率。

---

---