句向量 / 文本向量

咱用超接地气的大白话,把 “句向量 / 文本向量” 的事儿唠明白,保证听完就懂👇

一句话总结核心逻辑:

把一段文字,变成一组数字(向量),方便电脑 “理解文字意思”,还能比文字像不像、分分类~

分步拆解(对应 PPT 里的 4 步):

1)“拆词”—— 把文字拆成零散的词

比如这句话:“我爱吃红烧肉”
拆成:我、爱、吃、红烧肉
(就像把一整个乐高模型,拆成小零件,方便后续处理~)

2)“查词向量”—— 给每个词配一组数字

电脑不懂 “红烧肉” 是啥意思,但能懂数字!
所以,提前给每个词存好 “数字代号”(词向量):

  • 比如 “我”→ [0.1, 0.2, 0.3]
  • “爱”→ [0.4, 0.5, 0.6]
  • “红烧肉”→ [0.7, 0.8, 0.9]
    (这些数字是模型训练出来的,代表词的 “语义”,比如 “红烧肉” 和 “糖醋排骨” 的数字会很像,因为意思接近~)

3)“合并成文本向量”—— 把词的数字,整成一段文字的数字

现在有 4 个词的数字,咋变成 “整段话” 的数字?有俩常见招:

  • 简单版:加一加,求平均
    把 “我、爱、吃、红烧肉” 的向量全加起来,再除以 4,得到一个平均向量,代表整段话。
    (就像一家人身高:爸爸 180、妈妈 160、你 170,平均 170,代表 “你家身高水平”~)
  • 高级版:用网络模型(比如 BERT)重新算
    不简单平均,而是让模型 “理解词的顺序、关系”,重新融合出一个更准的向量。
    比如 “爱吃” 连一起是 “喜欢吃” 的意思,模型会让这俩词的向量结合得更紧密,比简单平均更聪明~

4)“用文本向量办事”—— 比文字像不像、分分类

现在整段话变成一组数字了,电脑就能:

  • 比相似度:
    比如另一段话 “我爱吃糖醋鱼”,也变成向量。对比 “我爱吃红烧肉” 的向量,发现很像(因为 “我、爱、吃” 都一样,只是 “红烧肉” 和 “糖醋鱼” 接近 ),就知道这两段话意思差不多!
  • 分类 / 聚类:
    把一堆美食评价(“我爱火锅”“我讨厌香菜” )的向量放一起,电脑自动把说 “喜欢” 的归一类,“讨厌” 的归另一类 —— 不用手动标标签,靠数字 similarity 就能分!

举个生活例子,瞬间懂!

把文字比作 “水果”,文本向量就是 “榨成的果汁”:

  • 拆词 = 把水果切成块(苹果→苹果块;香蕉→香蕉块 )
  • 查词向量 = 测每块水果的 “甜度、酸度、水分” 数据(苹果块→[甜 3,酸 1,水 8];香蕉块→[甜 4,酸 0.5,水 7] )
  • 合并成文本向量 = 把苹果块、香蕉块的 “数据” 融合,变成整盘水果的 “综合数据”(比如平均甜度 3.5,酸度 0.75 )
  • 用向量办事 = 拿这盘水果的 “综合数据”,和另一盘(比如 “橙子 + 葡萄” )比,看像不像同类(都是甜口水果 ),或者自动分成 “温带水果盘”“热带水果盘”~

说白了,文本向量就是把文字翻译成电脑能懂的 “数字语言” ,让电脑能像人一样,判断 “这段话啥意思、和另一段像不像”,然后干各种事儿(搜索、分类、推荐… )! 是不是超简单~
 
 
 
 
文本向量和句向量有什么区别?
知识图谱在大模型中的应用案例有哪些?
知识图谱的构建和训练过程是怎样的?
 
 
posted @ 2025-06-15 15:07  m516606428  阅读(51)  评论(0)    收藏  举报