导航

如何给RAGFlow v0.18增加Qwen3模型

Posted on 2025-05-13 10:19  蝈蝈俊  阅读(241)  评论(0)    收藏  举报

问题

ragflow 的 v0.18.0 版本并不包含 Qwen3模型,如下图:

这里的 qwen-plus-latest 跟 qwen3 不是一个模型,具体参考阿里云的模型列表:

https://help.aliyun.com/zh/model-studio/models

配置 llm_factories.json

RAGFlow的 ragflow-server 这台机器的 /ragflow/conf 这个目录下,修改下 llm_factories.json 这个文件即可。

比如要支持 qwen3-30b-a3b 这个模型,只需增加下面配置:

"name": "Tongyi-Qianwen",

{
    "llm_name": "qwen3-30b-a3b",
    "tags": "LLM,CHAT,128k",
    "max_tokens": 128000,
    "model_type": "chat",
    "is_tools": true
},

官方
https://github.com/infiniflow/ragflow/blob/main/conf/llm_factories.json

这个文件已经修改过了,只不过还没包含在最新docker镜像中,也可以简单的用官方这个文件替换本地部署的。