hvker

摘要： 环境准备 硬件环境 CPU：intel四代至强及以上，AMD参考同时期产品 内存：800GB以上，内存性能越强越好，建议DDR5起步 显卡：Nvidia显卡，单卡显存至少24GB（用T4-16GB显卡实测会在加载模型过程中爆显存），nvidia compute capability至少8.0（CUD 阅读全文

摘要： 只有提示词写得好，与大模型的互动才能更高效。提示词不仅仅是与AI对话的起点，更是驱动模型产生高质量输出的关键因素。本文将介绍大模型提示词的概念、意义，并分享一些实用的提示词模板，帮助AI玩家更好地利用大语言模型。 大模型提示词的介绍 提示词（Prompt），是用于大语言模型的一段引导性文字，用以触发 阅读全文

摘要： 实现目标和考虑因素 部署一个支持多用户同时使用、多模型运行的离线局域网大模型服务器 需要考虑以下几个关键因素： 大模型的加载和管理。使用一个基础大模型，根据实战需要创建多个专用模型，模型管理方便可靠。 并发用户和请求管理。设置管理员、用户角色，用户管理方便可靠，支持多名用户同时在线操作。 多模型同时 阅读全文

摘要： 实现目标和考虑因素 部署一个支持多用户同时使用、多模型运行的离线局域网大模型服务器 需要考虑以下几个关键因素： 大模型的加载和管理。使用一个基础大模型，根据需要创建多个专用模型，模型管理方便可靠。 并发用户和请求管理。设置管理员、用户角色，用户管理方便可靠，支持多名用户同时在线操作。 多模型同时运行 阅读全文

摘要： 环境搭建 系统环境 需要Nvidia显卡，至少8G显存，且专用显存与共享显存之和大于20G 建议将非安装版的环境文件都放到非系统盘，方便重装或移植 以Windows11为例，非安装环境文件都放在 E 盘下 设置自定义Path文件夹 创建 E:\mypath 文件夹，将其添加进用户环境变量Path中， 阅读全文

摘要： 环境搭建 系统环境 需要Nvidia显卡，至少8G显存，且专用显存与共享显存之和大于20G 建议将非安装版的环境文件都放到非系统盘，方便重装或移植 以Windows11为例，非安装环境文件都放在 E 盘下 设置自定义Path文件夹 创建 E:\mypath 文件夹，将其添加进用户环境变量Path中， 阅读全文