2024年10月
Ollama 安装、运行大模型（CPU 实操版）
摘要： Ollama 安装、运行大模型（CPU 实操版） 1. 操作步骤 1.1 安装 # 通过 homebrew 安装 brew install ollama 1.2 验证（可跳过） # 输出命令使用提示则安装成功 ollama --help 1.3 启动服务端 # 启动 ollama 服务（默认在 11434 端口，模型文件在 ~/.ollama） o 阅读全文
posted @ 2024-10-01 01:32 宇宙有只AGI 阅读(2457) 评论(0) 推荐(0)
llama.cpp 安装使用（支持CPU、Metal及CUDA的单卡/多卡推理）
摘要： llama.cpp 安装使用（支持CPU、Metal及CUDA的单卡/多卡推理） 1. 详细步骤 1.1 安装 cuda 等 nvidia 依赖（非CUDA环境运行可跳过） # 以 CUDA Toolkit 12.4: Ubuntu-22.04/24.04(x86_64) 为例，注意区分 WSL 和 Ubuntu，详见 https://developer.nvidia.com/c 阅读全文
posted @ 2024-10-01 01:29 宇宙有只AGI 阅读(8978) 评论(0) 推荐(1)
ChatGLM.cpp 安装使用（支持CPU、Metal及CUDA推理）
摘要： ChatGLM.cpp 安装使用（支持CPU、Metal及CUDA推理） 1. 详细步骤 1.1 拉取源码 # 确保网络通畅 git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp 1.2 模型转换/量化 1.2.1 安装所需 Python 依赖 torch pi 阅读全文
posted @ 2024-10-01 01:25 宇宙有只AGI 阅读(447) 评论(0) 推荐(0)
Xinference 安装使用（支持CPU、Metal、CUDA推理和分布式部署）
摘要： Xinference 安装使用（支持CPU、Metal、CUDA推理和分布式部署） 1. 详细步骤 1.1 安装 # CUDA/CPU pip install "xinference[transformers]" pip install "xinference[vllm]" pip install "xinference[sglang]" # Metal(MPS) pip inst 阅读全文
posted @ 2024-10-01 01:19 宇宙有只AGI 阅读(3551) 评论(0) 推荐(0)