向量点积的定义、概念

向量点积（Dot Product），又称内积（Inner Product）或数量积（Scalar Product），是线性代数和几何学中最基础、也最重要的运算之一。

要透彻理解点积，我们可以从代数定义、几何意义以及在AI中的核心应用三个维度来剖析。

---

1. 代数定义：数字层面的“对应相乘再求和”

在代数上，点积是对两个等长的向量进行的一种运算，其结果是一个标量（一个单一的实数，而不是向量）。

假设我们有两个 \(n\) 维向量 \(\mathbf{A}\) 和 \(\mathbf{B}\)：

\[\mathbf{A} = [a_1, a_2, ..., a_n] \]

\[\mathbf{B} = [b_1, b_2, ..., b_n] \]

它们的点积 \(\mathbf{A} \cdot \mathbf{B}\) 定义为：

\[\mathbf{A} \cdot \mathbf{B} = \sum_{i=1}^{n} a_i b_i = a_1b_1 + a_2b_2 + \dots + a_nb_n \]

通俗解释：就是把两个向量在每一个相同位置上的数字相乘，然后把所有的乘积加起来。

---

2. 几何意义：方向与长度的“投影”

几何是理解点积最直观的方式。在二维或三维空间中，点积的公式变为：

\[\mathbf{A} \cdot \mathbf{B} = \|\mathbf{A}\| \|\mathbf{B}\| \cos(\theta) \]

其中：

• \(\|\mathbf{A}\|\) 和 \(\|\mathbf{B}\|\) 分别是向量 A 和 B 的长度（模）。
• \(\theta\) 是两个向量之间的夹角。

这个公式揭示了点积的三个核心几何本质：

① 衡量“方向的一致性”（相似度）

点积的结果直接反映了两个向量方向的相似程度：

• 方向相同 (\(\theta = 0^\circ\))：\(\cos(0^\circ) = 1\)，点积取得最大正值。
• 互相垂直 (\(\theta = 90^\circ\))：\(\cos(90^\circ) = 0\)，点积为 0（正交，毫无关联）。
• 方向相反 (\(\theta = 180^\circ\))：\(\cos(180^\circ) = -1\)，点积取得最大负值。

② 投影（Projection）

\(\mathbf{A} \cdot \mathbf{B}\) 可以理解为：向量 \(\mathbf{A}\) 在向量 \(\mathbf{B}\) 方向上的投影长度，乘以 \(\mathbf{B}\) 的长度。
想象一束垂直光线照在向量 \(\mathbf{A}\) 上，它在 \(\mathbf{B}\) 所在的直线上留下的“影子”就是投影。点积就是在计算这个“影子”与 \(\mathbf{B}\) 长度的乘积。

③ 物理意义：做功

在物理学中，力 \(\mathbf{F}\) 作用在物体上产生位移 \(\mathbf{d}\)，所做的功 \(W\) 就是力与位移的点积：\(W = \mathbf{F} \cdot \mathbf{d}\)。只有力在位移方向上的分量才真正做了功，这完美契合了“投影”的概念。

---

3. 在人工智能与NLP中的核心应用

点积不仅是数学公式，它是现代AI理解世界的“感知器官”。

① 计算余弦相似度（Cosine Similarity）

既然点积受向量长度影响，我们将其归一化，就得到了余弦相似度：

\[\text{Cosine Similarity} = \frac{\mathbf{A} \cdot \mathbf{B}}{\|\mathbf{A}\| \|\mathbf{B}\|} = \cos(\theta) \]

在搜索引擎、推荐系统中，我们用这个值来衡量两个词（或两篇文章、两个用户）有多“相似”。

② Transformer 中的注意力机制（Attention）

这是点积在现代AI中最伟大的应用。在公式 \(\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V\) 中：

• \(QK^T\) 的本质就是大量的点积运算。
• Query（查询）和 Key（键）进行点积，实际上是在问：“你（Key）在我的方向上，投影有多大？”
• 点积结果越大，说明当前词与上下文中的另一个词越相关，分配到的注意力权重就越高。

③ 神经网络的前向传播

神经网络中最基础的线性变换 \(y = \mathbf{w} \cdot \mathbf{x} + b\)，其核心操作 \(\mathbf{w} \cdot \mathbf{x}\) 也是点积。权重向量 \(\mathbf{w}\) 在输入向量 \(\mathbf{x}\) 的方向上进行投影，从而提取出特定的特征。

---

💡 总结点评

如果要用一句话概括点积：
点积是一种“对齐测试”，它通过计算两个向量在各个维度上的乘积之和，来衡量它们在方向上的重合度与相互影响的大小。

在人类认知中，我们用“联想”和“语境”来判断事物之间的联系；而在计算机的高维向量空间中，点积就是机器用来做“联想”的数学工具。