百度千帆AI大模型浅谈

百度千帆AI大模型浅谈

介绍

​ 百度千帆大模型平台是一个集成了数据处理、模型训练、推理部署等功能的一站式AI开发平台，专注于支持企业和开发者高效构建大模型应用。平台提供丰富的算法库和工具集，支持多种深度学习框架，如TensorFlow和PyTorch，能够满足多样化的AI开发需求。

​ 千帆平台具备高效性、灵活性、易用性和安全性。通过分布式计算架构，平台显著提升了模型训练速度和推理性能，同时支持自定义模型开发和训练，用户可以根据需求调整算法和参数。此外，平台提供直观的图形化界面和友好的API接口，降低了使用门槛，并采用严格的数据加密和访问控制机制，保障数据安全。千帆平台广泛应用于NLP、计算机视觉、语音识别等领域。

使用步骤

1.在pom.xml的dependencies中添加依赖

<dependency>
    <groupId>com.baidubce</groupId>
    <artifactId>qianfan</artifactId>
    <version>0.1.6</version>
</dependency>

2.使用安全认证AK/SK调用流程

登录网站进行安全认证，获取Access Key（即安全认证AK）、Secret Key（即安全认证SK）；

3.通过SDK调用API，SDK会获取安全认证AK和SK初始化信息，并自动完成鉴权相关步骤。

4.配置

# 百度千帆大模型配置
baidu:
  accessKey: 上一步获取的Access Key
  secretKey: 上一步获取的Secret Key
  qianfanModel: ERNIE-4.0-8K-Preview

5.通过官方提供的代码进行测试；

package com.zzyl.test;

import com.baidubce.qianfan.Qianfan;
import com.baidubce.qianfan.core.auth.Auth;
import com.baidubce.qianfan.model.chat.ChatResponse;

public class AIModelTest {

    private static final String prompt = "你能帮我分析一份完整的体检报告吗？";

    public static void main(String[] args) {
        /**
         * 第一个参数：认证类型，固定选择 Auth.TYPE_OAUTH
         * 第二个参数：accessKeyId，从百度云控制台创建的应用里可以找到
         * 第三个参数：accessKeySecret，从百度云控制台创建的应用里可以找到
         */
        Qianfan qianfan = new Qianfan(Auth.TYPE_OAUTH, "xEO9h4cswlghfdfdUiYpkNt", "T68lkk7XuyfgfdgfdWtCQcFCVkd2HnZuKH");
        ChatResponse response = qianfan.chatCompletion()
                .model("ERNIE-4.0-8K-Preview") // 模型名称，要选择自己开通付费的模型
                .addMessage("user", prompt) // 聊天内容，可以设置多个，每个消息包含role（角色，user表示用户，assistant表示模型），content（消息内容）
//                .temperature(0.7) // 采样参数，取值范围(0,1]
//                .maxOutputTokens(2000) // 模型输出最大长度，取值范围[2, 2048]
//                .responseFormat("json_object")  // 模型输出格式，取值范围：text（文本）、json_object（JSON对象）
                .execute();
        String result = response.getResult();
        System.out.println(result);
    }
}

6.相关的属性说明

• messages: 对话内容，包含用户和助手的对话历史，是请求的必需部分。
• system: 系统指令，用于设定模型的角色或行为准则。
• temperature: 控制输出随机性，值越高输出越随机，值越低输出越确定。
• top_p: 控制生成文本的多样性，影响采样范围。
• penalty_score: 重复惩罚分数，值越大越能减少生成内容的重复。
• max_output_tokens: 限制模型单次响应的最大生成token数量。
• frequency_penalty: 基于已生成内容的频率进行惩罚，减少重复用词。
• presence_penalty: 基于已出现的词汇进行惩罚，鼓励模型引入新话题。
• stop: 指定一个或多个序列，当模型生成这些序列时停止输出。