应用引入LLM实践

LLM最近在各行各业遍地开花，产生了很好的效果，也落地了很多好的功能应用。

无论是从实际应用角度，还是从营销角度，我们都需要接入大模型能力。

拿国内比较火的Deepseek来说，具有良好的推理能力，可以在我们的产品中帮我们做一些信息溯源的工作，考虑接入这部分功能，deepseek自己部署要耗费不少成本，我们暂时不考虑。国内云商已经大量接入deepseek能力，并且对外提供服务，我们考虑接入云商的deepseek能力。前期做了一些调研：

 

关于集成，目前大部分都是使用openai库集成LLM，有一套规范的方法，集成方法实例如下：

from openai import OpenAI

if __name__ == '__main__':
    #DeepSeek-R1-32K
    base_url = "https://maas-cn-southwest-2.modelarts-maas.com/v1/infers/8a062fd4-7367-4ab4-a936-5eeb8fb821c4/v1"
    #DeepSeek-R1-671B-32K
    #base_url = "https://maas-cn-southwest-2.modelarts-maas.com/v1/infers/952e4f88-ef93-4398-ae8d-af37f63f0d8e/v1"
    
    api_key = "Y****"  # 把<your_apiKey>替换成已获取的API Key。

    client = OpenAI(api_key=api_key, base_url=base_url)

    response = client.chat.completions.create(
        model="DeepSeek-R1",
        messages=[
            {"role": "system", "content": "You are an assistant"},
            {"role": "user", "content": "Your task is to help me complete some simple word processing tasks"},

        ],
        max_tokens=1024,
        temperature=0.6,
        stream=False
    )
    # Print result.     
print(response.choices[0].message.content)

目前云商都提供免费token 供试用，可以薅一下羊毛，我们多集成几个大模型

我们使用flas框架封装一套框架，结构如下：

 然后打包成docker，这样就可以使用API的方式免费调用Deepseek大模型了！！

可以做一个简单的页面使用。