现在的AI大模型非常多,例如openrouter集成了多个大模型,并为这些模型开通了联网版接口。
自己在实际使用大模型中,也会综合各个平台、模型的优势联合使用,因此使用litellm gateway来统一管理和调度平台和接口。
百炼平台和火山引擎是两个算力出众,且支持通过参数调用一些工具的,比如百炼支持启用联网搜索工具,火山引擎支持启用联网搜索和缓存。
之前百炼平台的比较容易,通过在extra_body内添加参数{'enable_search':true}即可让模型判断调用联网搜索后再回复。
火山引擎也支持,只是调用方式很特殊,官网写的例子也不多,仿照百炼的方式和它自己的文档,始终没有调通, 总是报错。 后面依据官方示例通过openai sdk在python中跑的过程中,发现了它的真实传递参数,并成功跑通,本博客做个记录。
火山引擎,启用联网搜索功能,是在访求请求时添加一个tools参数,因此在litellm config中,要如下配置(web_search tool里还有search engine、max keywords、limits等参数需要配置,需要再研究)。其它缓存等功能,还是通过extra_body传入。

model_list:
  - model_name: deepseek-chat-net
    litellm_params:
      model: openai/deepseek-v3.2
      api_base: https://dashscope.aliyuncs.com/compatible-mode/v1
      api_key: sk-yourealkey
      extra_body: { "enable_search": True }
  

  - model_name: doubao-seed-1-6-251015
    litellm_params:
      model: volcengine/doubao-seed-1-6-251015
      api_key: sk-yourealkey
      # extra_body: {
      #   "caching": {"type": "enabled"} , "thinking": {"type": "disabled"}},
      # }
      extra_body: {
        "thinking": {"type": "disabled"},
      }
      tools:
        web_search: 1