现在的AI大模型非常多,例如openrouter集成了多个大模型,并为这些模型开通了联网版接口。
自己在实际使用大模型中,也会综合各个平台、模型的优势联合使用,因此使用litellm gateway来统一管理和调度平台和接口。
百炼平台和火山引擎是两个算力出众,且支持通过参数调用一些工具的,比如百炼支持启用联网搜索工具,火山引擎支持启用联网搜索和缓存。
之前百炼平台的比较容易,通过在extra_body内添加参数{'enable_search':true}即可让模型判断调用联网搜索后再回复。
火山引擎也支持,只是调用方式很特殊,官网写的例子也不多,仿照百炼的方式和它自己的文档,始终没有调通, 总是报错。 后面依据官方示例通过openai sdk在python中跑的过程中,发现了它的真实传递参数,并成功跑通,本博客做个记录。
火山引擎,启用联网搜索功能,是在访求请求时添加一个tools参数,因此在litellm config中,要如下配置(web_search tool里还有search engine、max keywords、limits等参数需要配置,需要再研究)。其它缓存等功能,还是通过extra_body传入。
model_list:
- model_name: deepseek-chat-net
litellm_params:
model: openai/deepseek-v3.2
api_base: https://dashscope.aliyuncs.com/compatible-mode/v1
api_key: sk-yourealkey
extra_body: { "enable_search": True }
- model_name: doubao-seed-1-6-251015
litellm_params:
model: volcengine/doubao-seed-1-6-251015
api_key: sk-yourealkey
# extra_body: {
# "caching": {"type": "enabled"} , "thinking": {"type": "disabled"}},
# }
extra_body: {
"thinking": {"type": "disabled"},
}
tools:
web_search: 1
浙公网安备 33010602011771号