一蓑烟雨度平生

摘要： Slurm常用命令 # 申请资源 salloc -p nvidia-A100 -N1 --gres=gpu:8 -t 24:00:00 salloc -p nvidia-A100 -N1 --gres=gpu:8 -t 48:00:00 --nodelist=指定节点 # 查看自己的占用 squeu 阅读全文

摘要： Tmux终端复用器常用命令 新建会话 tmux new -s <session-name> 查看已有会话 tmux ls 分离会话 按下Ctrl+b d 或输入 tmux detach 接入会话 tmux attach -t <session-name> 杀死会话 tmux kill-session 阅读全文

摘要： 大模型常用文档 NAME URL SWIFT Swift DOCUMENTATION — swift 3.6.0.dev0 文档 vLLM引擎参数 引擎参数 — vLLM 文档 LLaMA-Factory LLaMA Factory OpenAI接口文档 API Reference - OpenAI 阅读全文

摘要： Docker常用命令 Windows安装 Docker: Accelerated Container Application Development 如果碰到Docker Desktop - WSL update failed: 打开CMD，执行： wsl --set-default-version 阅读全文

摘要： 从头开始配置一台NVIDIA GPU大模型训练推理服务器 服务器信息 操作系统：Ubuntu 20.04.4 LTS (GNU/Linux 5.4.0-100-generic x86_64) GPU：8×A100 40G 1. 配置DNS 设置DNS，方便后续下载各种软件包 vim /etc/res 阅读全文

摘要： vLLM部署大模型服务 部署环境 操作系统：Ubuntu 20.04.4 LTS Cuda Version: 12.8, Cuda compilation tools, release 12.2, V12.2.91 显卡：A100 40G × 2 Miniconda3 vllm==0.8.5 服务参 阅读全文

摘要： 在使用https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.3提供的Generate with transformers代码进行测试时，产生以下报错： from transformers import pipeline messages = 阅读全文

摘要： 解决Debian服务器使用NetworkManager出现的DNS自动清除问题 使用vim编辑/etc/NetworkManager/NetworkManager.conf中的内容： sudo vim /etc/NetworkManager/NetworkManager.conf 在该文件的[mai 阅读全文

摘要： 在Linux服务器上部署中医知识图谱 配置Java环境 在Oracle官网或Open JDK官网下载JDK 17安装包，选择与操作系统及系统架构（32位或64位）相匹配的版本，此处使用Ubuntu系统进行演示。 使用以下命令解压JDK安装包： tar -xvf jdk-17_linux-x64_bi 阅读全文

摘要： 使用Nginx将大模型Web应用部署到公网 大模型训练完毕后，我们可以用SWIFT快速构建一个Web Demo大模型Web应用，本文将介绍如何使用Nginx将大模型Web应用部署到公网。 在进行后续步骤之前，先按照搭建一个大模型API服务中的方法安装好SWIFT框架，并激活到你的conda环境。 启 阅读全文