随笔分类 -  大模型

Ollama+OneAPI+Open WebUI 搭建本地大模型
摘要：✅Ollama 安装 ✅极简安装 curl -fsSL https://ollama.com/install.sh | sh ✅Docker 安装 ❗前提是已安装NVIDIA Container Toolkit # 拉取镜像 docker pull ollama/ollama # 启动容器 dock 阅读全文
posted @ 2025-03-29 03:49 。。。714 阅读(1139) 评论(0) 推荐(0)
第四期书生大模型实战营【进阶岛】—— 茴香豆：企业级知识库问答工具
摘要：茴香豆：企业级知识库问答工具 茴香豆介绍Web版茴香豆创建 Web 版茴香豆账户和密码 茴香豆本地标准版搭建环境搭建安装茴香豆下载茴香豆安装茴香豆所需依赖下载模型文件更改配置文件 知识库创建测试知识助手命令行运行Gradio UI 界面测试 茴香豆高阶应用开启网络搜索远程模型远程向量&重排序模型远程 阅读全文
posted @ 2025-02-15 23:31 。。。714 阅读(89) 评论(0) 推荐(0)
第四期书生大模型实战营【进阶岛】—— InternVL 多模态模型部署微调实践
摘要：InternVL 多模态模型部署微调实践 任务描述多模态大模型常见设计模式QFormerLLaVA QFormer vs. LLaVAInternVL2 的设计模式 微调 InternVL2-2B 模型环境配置训练环境配置推理环境配置 LMDeploy 部署模型LMDeploy基本用法介绍网页应用部 阅读全文
posted @ 2025-02-15 14:03 。。。714 阅读(185) 评论(0) 推荐(0)
第四期书生大模型实战营【进阶岛】—— LMDeploy 量化部署进阶实践
摘要：LMDeploy 量化部署进阶实践 任务描述InternLM2.5 量化与部署环境配置LMDeploy API部署InternLM2.5启动API服务器，部署InternLM2.5模型。以命令行形式连接API服务器以Gradio网页形式连接API服务器 量化部署KV Cache 缓存KV Cache 阅读全文
posted @ 2025-02-14 00:21 。。。714 阅读(143) 评论(0) 推荐(0)
第四期书生大模型实战营【进阶岛】—— Lagent 自定义你的 Agent 智能体
摘要：Lagent 自定义你的 Agent 智能体 任务描述Agent 动手实践环境配置Lagent 框架中 Agent 的使用代码解析 制作天气查询 Agent获取和风天气服务的API KEYLagent 自定义 WeatherQuery 工具 Multi-Agents 博客写作系统的搭建系统流程设计代 阅读全文
posted @ 2025-02-13 18:06 。。。714 阅读(121) 评论(0) 推荐(0)
第四期书生大模型实战营【进阶岛】—— MindSearch 快速部署
摘要：MindSearch 快速部署 任务描述MindSearch 简介MindSearch 部署环境配置创建 Blank 模板创建 conda 环境隔离并安装依赖 获取硅基流动API KEY启动MindSearch启动后端启动前端 部署到 HF Spaces 任务描述 部署MindSearch到 hug 阅读全文
posted @ 2025-02-13 14:21 。。。714 阅读(65) 评论(0) 推荐(0)
第四期书生大模型实战营【基础岛】—— XTuner 微调个人小助手认知
摘要：XTuner 微调个人小助手认知 任务描述闯关任务环境配置与数据准备修改提供的数据训练启动模型 WebUI 对话 进阶任务模型上传应用部署 任务描述 使用 XTuner 微调 InternLM2-Chat-7B 实现自己的小助手认知，记录复现过程并截图。 将自我认知的模型上传到 HuggingFac 阅读全文
posted @ 2025-02-12 16:35 。。。714 阅读(41) 评论(0) 推荐(0)
第四期书生大模型实战营【进阶岛】—— 探索书生大模型能力边界
摘要：探索书生大模型能力边界 任务描述 InternThinker 挑战 LeetCode 考倒 InternThinker 任务描述 InternThinker 挑战 LeetCode：在 LeetCode 使用 InternThinker 刷 5 道算法题：使用 InternThinker 生成答案提 阅读全文
posted @ 2025-02-11 23:42 。。。714 阅读(42) 评论(0) 推荐(0)
第四期书生大模型实战营【基础岛】—— InternLM + LlamaIndex RAG 实践
摘要：InternLM + LlamaIndex RAG 实践 任务描述任务要求1：构建浦语API的RAG模型/环境准备不使用 LlamaIndex RAG（仅API）使用 API+LlamaIndex部署 Web 任务要求2：构建本地InternLM2的RAG模型/环境准备不使用 LlamaIndex 阅读全文
posted @ 2025-02-11 16:45 。。。714 阅读(133) 评论(0) 推荐(0)
第四期书生大模型实战营【基础岛】—— 浦语提示词工程实践
摘要：闯关任务 任务描述 背景问题：近期相关研究指出，在处理特定文本分析任务时，语言模型的表现有时会遇到挑战，例如在分析单词内部的具体字母数量时可能会出现错误。 任务要求：利用对提示词的精确设计，引导语言模型正确回答出“strawberry”中有几个字母“r”。完成正确的问答交互并提交截图作为完成凭证。 阅读全文
posted @ 2025-02-09 16:40 。。。714 阅读(100) 评论(0) 推荐(0)
大模型学习【提示词工程】—— 初识提示词工程
摘要：初识提示词工程 什么是提示词工程如何进行提示工程[Claude 官方提示工程指南](https://platform.openai.com/docs/guides/prompt-engineering)提示生成器保持清晰直接使用示例（多示例）让 Claude 思考（思维链）使用 XML 标签给 Cl 阅读全文
posted @ 2025-02-09 11:38 。。。714 阅读(271) 评论(0) 推荐(0)
第四期书生大模型实战营【基础岛】—— 玩转书生「多模态对话」与「AI搜索」产品
摘要：玩转书生「多模态对话」与「AI搜索」产品 闯关任务任务描述书生·浦语书生·浦语多场景对话代码编程对话示例 MindSearch书生·万象 进阶任务任务描述 闯关任务 任务描述 相关产品 任务描述 MindSearch开源的 AI 搜索引擎使用 MindSearch 在以下三个问题中选择一个你感兴趣的 阅读全文
posted @ 2025-02-07 23:39 。。。714 阅读(27) 评论(0) 推荐(0)
第四期书生大模型实战营【基础岛】—— 书生大模型全链路开源体系
摘要：书生大模型全链路开源体系 书生·浦语概览书生·浦语发展历程核心技术思路领先的推理能力 书生大模型全链路开源体系开源数据处理工具箱预训练InternEvo微调XTunerOpenCompass评测部署LMDeploy智能体LagentMindSearchHuixiangDou 书生·浦语概览 书生·浦 阅读全文
posted @ 2025-02-07 16:34 。。。714 阅读(42) 评论(0) 推荐(0)
第四期书生大模型实战营——入门岛
摘要：入门岛 入门岛关卡概览第1关 Linux基础知识SSH及端口映射什么是SSH什么是端口映射 实战1.使用VScode远程连接开发机2.创建一个conda环境3.完成端口映射并运行`hello_world.py` 第2关 Python基础知识VScode连接InternStudio debug笔记1. 阅读全文
posted @ 2025-02-04 15:57 。。。714 阅读(204) 评论(0) 推荐(0)