阿里开源了两个知识库领域的模型（向量化、重排）：Qwen3-Embedding和Qwen3-Reranker（含0.6B、4B、8B模型，附Ollama部署方法）

​

昨天阿里开源家族迎来两个新成员——Qwen3-Embedding和Qwen3-Reranker，专为文本表征、检索和排序任务设计，都基于Qwen3模型构建。

看了测评，Qwen3-Embedding-8B目前是 MTEB 多语言排行榜榜首，我最期待的是Qwen3-Embedding-0.6B，模型文件不足 1.2GB，Q4 量化版只有 639MB！

Qwen3-Reranker也很能打，我准备替换掉目前正在使用的BGE-reranker-v2-m3了。

文末附Ollama部署Qwen3-Embedding和Qwen3-Reranker的方法。

下面咱们一起看看这两个新模型

 

关于 Qwen3-Embedding 和 Qwen3-Reranker 的一切

知识库

 

Embedding和Reranker都是应用于知识库的两个核心技术。

知识库是一个结构化或非结构化的信息存储系统，用于存储、组织和检索领域特定或通用知识，结合大模型技术（如语义搜索和生成模型）来提升检索效率和回答质量。简单说，就是给大模型外挂了新知识。

说起知识库，大家更熟悉的技术是RAG，它通过结合检索模型和生成模型，先从知识库检索相关信息，再由生成模型（如大语言模型）基于检索结果生成自然语言回答，从而减少大模型的幻觉，提高回答的准确性和上下文相关性，特别适合知识库问答场景。

RAG基本工作流程包括：

 

1.  

   文档处理：将原始文档进行分块、清洗和标准化处理

    

2.  

   向量化：将文本转换为高维向量表示

    

3.  

   索引构建：构建高效的向量索引以支持快速检索

    

4.  

   检索：根据用户查询，从索引中检索相关文档

    

5.  

   重排序：对检索结果进行精确排序，确保最相关的文档排在前面

    

6.  

   生成回答：基于检索到的相关文档，生成准确的回答

    

事实上 RAG 目前已经从上面最简单的技术架构发展出各种变体

Qwen3-Embedding对应向量化环节

 

•  

  定义：将文本、图像或其他数据转化为高维向量表示，捕捉其语义内容。嵌入模型通过深度学习生成这些向量，使语义相似的文本在向量空间中距离较近。

   

•  

  作用：支持语义搜索，允许知识库根据查询内容的语义（而非仅关键词）返回相关结果。例如，查询“如何优化数据库”可以匹配包含“数据库性能提升”的文档。

   

 

Qwen3-Reranker对应重排序环节

 

•  

  检索：从知识库中初步筛选与查询相关的文档，通常基于嵌入向量的相似度（如余弦相似度）。

   

•  

  重排序（Reranking）：对初步检索结果进行精细排序，使用交叉编码器（cross-encoder）计算查询与文档的相关性得分，进一步提升结果精准度。

   

•  

  作用：结合“粗筛（Embedding）+ 精排（Reranking）”的流程，确保返回最相关的知识片段。

   

 

Qwen3-Embedding

Qwen3-Embedding提供 0.6B、4B 和 8B 三种参数规模，满足不同场景的性能与效率需求。

官方还放出了这三种参数模型的 GGUF 量化版

https://www.modelscope.cn/collections/Qwen3-Embedding-3edc3762d50f48

模型类型

模型

大小

层数

序列长度

嵌入维度

MRL 支持

指令感知

文本嵌入

Qwen3-Embedding-0.6B

0.6B

28

32K

1024

文本嵌入

Qwen3-Embedding-4B

4B

36

32K

2560

文本嵌入

Qwen3-Embedding-8B

8B

36

32K

4096

Qwen3-Embedding功能特点：

 

•  

  支持自定义最终嵌入的维度和指令感知（根据不同的任务定制输入指令，官方测试：使用指令通常比不使用指令能提高 1% 到 5% 的性能）

   

•  

  支持 119 种语言，具备强大的多语言、跨语言和代码检索能力，适用于文档检索、RAG（检索增强生成）、分类、情感分析、代码搜索等任务。

   

 

性能方面：

8B 参数的 Embedding 模型在 MTEB 多语言排行榜上位列第一（得分 70.58）

4B 参数版就已经超越目前特能打的gemini-embedding-exp-03-07了

而我目前使用的是 BGE-M3，也打不过Qwen3-Embedding-0.6B了

这太诱人了，我看外面的评价，有人在测试把量化版放到 Raspberry Pi、手机端运行了

不过部署上，目前仅支持 transformers 的样子，vllm 报错了，应该需要更新

Qwen3-Reranker

Qwen3-Embedding也提供 0.6B、4B 和 8B 三种参数规模

https://www.modelscope.cn/collections/Qwen3-Reranker-6316e71b146c4f

模型类型

模型

大小

层数

序列长度

指令感知

文本重排序

Qwen3-Reranker-0.6B

0.6B

28

32K

文本重排序

Qwen3-Reranker-4B

4B

36

32K

文本重排序

Qwen3-Reranker-8B

8B

36

32K

测评：

Model

Param

MTEB-R

CMTEB-R

MMTEB-R

MLDR

MTEB-Code

FollowIR

Jina-multilingual-reranker-v2-base

0.3B

gte-multilingual-reranker-base

0.3B

BGE-reranker-v2-m3

0.6B

Qwen3-Reranker-0.6B

0.6B

5.41

Qwen3-Reranker-4B

4B

Qwen3-Reranker-8B

8B

8.05

Qwen3-Reranker模型在文本检索场景中显著提升搜索相关性，尤其在 MTEB-R、CMTEB-R、MMTEB-R 和 MTEB-Code 等检索子集上表现优异

Qwen3-Reranker-0.6B就已经傲视群雄了。

Ollama部署Qwen3-Embedding和Qwen3-Reranker的方法：

第一步，安装Ollama。打开官网下载：https://ollama.com/download

可以选择Download for Windows来下载。然后双击OllamaSetup.exe按提示安装完成。

第二步，打开Windows PowerShell，或者CMD命令。

如下载Qwen3-Embedding-0.6B，可以输入Ollama命令：

ollama run dengcao/Qwen3-Embedding-0.6B:F16

如下载Qwen3-Reranker-0.6B，可以输入Ollama命令：

ollama run dengcao/Qwen3-Reranker-0.6B:F16

接下来等待下载完成即可。

下面列出Qwen3-Embedding和Qwen3-Reranker各个版本的Ollama安装命令。

Qwen3-Embedding-0.6B系列：

ollama run dengcao/Qwen3-Embedding-0.6B:Q8_0

ollama run dengcao/Qwen3-Embedding-0.6B:F16

Qwen3-Embedding-4B系列：

ollama run dengcao/Qwen3-Embedding-4B:Q4_K_M

ollama run dengcao/Qwen3-Embedding-4B:Q5_K_M

ollama run dengcao/Qwen3-Embedding-4B:Q8_0

Qwen3-Embedding-8B系列：

ollama run dengcao/Qwen3-Embedding-8B:Q4_K_M

ollama run dengcao/Qwen3-Embedding-8B:Q5_K_M

ollama run dengcao/Qwen3-Embedding-8B:Q8_0

ollama run dengcao/Qwen3-Embedding-8B:F16

Qwen3-Reranker-0.6B系列：

ollama run dengcao/Qwen3-Reranker-0.6B:Q8_0

ollama run dengcao/Qwen3-Reranker-0.6B:F16

Qwen3-Reranker-4B系列：

ollama run dengcao/Qwen3-Reranker-4B:Q4_K_M

ollama run dengcao/Qwen3-Reranker-4B:Q5_K_M

ollama run dengcao/Qwen3-Reranker-4B:Q8_0

Qwen3-Reranker-8B系列：

ollama run dengcao/Qwen3-Reranker-8B:Q3_K_M

ollama run dengcao/Qwen3-Reranker-8B:Q4_K_M

ollama run dengcao/Qwen3-Reranker-8B:Q5_K_M

ollama run dengcao/Qwen3-Reranker-8B:Q8_0

ollama run dengcao/Qwen3-Reranker-8B:F16

关于量化版本的说明：
q8_0：与浮点数16几乎无法区分。资源使用率高，速度慢。不建议大多数用户使用。

q6_k：将Q8_K用于所有张量。

q5_k_m：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q5_K。

q5_0： 原始量化方法，5位。精度更高，资源使用率更高，推理速度更慢。

q4_k_m：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q4_K

q4_0：原始量化方法，4 位。

q3_k_m：将 Q4_K 用于 attention.wv、attention.wo 和 feed_forward.w2 张量，否则Q3_K

q2_k：将 Q4_K 用于 attention.vw 和 feed_forward.w2 张量，Q2_K用于其他张量。

根据经验，建议使用 Q5_K_M，因为它保留了模型的大部分性能。或者，如果要节省一些内存，可以使用 Q4_K_M。

​