02_LLM重点知识点

LLM重点知识

向量

向量(Vector) 就是文本的"数学身份证"：它把一段文字的 语义信息， 转换成一串固定长度的数字列表， 让计算机能 "能看懂" 文字的含义并做相似度计算。 简单来说，就是让计算机更方便的理解不同的文本内容，是否表述的是一个意思。

向量的计算(文本嵌入过程)

可借助文本嵌入模型实现，如text-embedding-v1

向量的匹配

通过算法实现，如余弦相似度

向量的维度

表示文本在多个抽象语义特征方面的强度

• 维度数代表模型用多少个抽象语义特征来描述文本
• 维数越多，做语义匹配就越精准
• 但是性能压力也会增大

余弦相似度(Cosine Similarity)

是一种通过计算两个向量在空间中的 夹角的余弦值，来衡量它们方向相似程度的算法。

1. 核心直觉

• 不看长度，只看方向，它忽略向量的绝对大小（模长），只关系它们在空间中的指向是否一致。
• 比喻：两篇文章，一篇很短，一篇很长，但如果它们讨论的主题（词频分布方向）完全一样，余弦相似度就是1（完全相似）

2. 数学公式
   对于两个向量A和B
   
   A*B :点积 （对应元素相乘再求和）
   ∥A∥,∥B∥ ：模长（向量长度的平方根）
3. 取值范围与含义
   结果落在[-1,1]之间：
   1：夹角为0度，方向完全相同（最大相似度）。
   0：夹角90度，正交，互不相关。
   -1：夹角180度，方向完全相反（最不相似）。
   （注：在文本挖掘等非负数据场景中，范围通常是[0,1]）
4. 为什么在大模型/RAG中很常用？

• 抗干扰性强：文档长短不一（向量长度不同），但主题可能相同。余弦相似度能消除长度带来的偏差，专注于内容分布。
• 计算高效：只需做简单的乘法和开方运算，适合海量的向量检索。
• 一句话总结：它是判断"两个东西是不是同类"的标尺，不管体量大小，只看气质（方向）合不合。