摘要: 学习笔记:选择合适的 AI 模型与硬件 核心挑战:模型 vs. 硬件 其核心关系很简单: 更大、能力更强的模型 通常需要 更强大的硬件。 运行大语言模型(LLMs)最关键的硬件资源通常是 GPU 显存(VRAM)。 如果在一个 VRAM 不足的 GPU 上运行一个巨大的模型,要么无法工作,要么会极其 阅读全文
posted @ 2025-04-21 17:48 Mitchell_C 阅读(245) 评论(0) 推荐(0)
摘要: 使用 Ollama 和 FastAPI 部署 Python AI 应用 一个在本地构建的 AI 项目,可能使用了像 Ollama 和 FastAPI 这样的库,最终需要部署到服务器上,以便更广泛地访问或实现可靠的 24/7 运行。本文档详细介绍了将这样一个基于 Python 的 AI 应用部署到 L 阅读全文
posted @ 2025-04-21 17:15 Mitchell_C 阅读(277) 评论(0) 推荐(0)