2025 年 3月 28 日随笔档案 - kid;)

2025年3月28日

摘要：总结如下：入门级轻量部署：Ollama、LM Studio、GPT4All 高性能推理：Llama.cpp、vLLM、TGI、TensorRT-LLM 本地微调：LoRA + PEFT、Axolotl、DeepSpeed 企业级 API 部署：FastChat、OpenWebUI 1. 轻量级推理阅读全文

posted @ 2025-03-28 16:57 kid;) 阅读(623) 评论(0) 推荐(0)

Modelfile 介绍

摘要： https://www.llamafactory.cn/ollama-docs/modelfile.html 阅读全文

posted @ 2025-03-28 11:25 kid;) 阅读(49) 评论(0) 推荐(0)

模型的应用场景和量化

摘要： https://www.cnblogs.com/mq0036/p/18712786 阅读全文

posted @ 2025-03-28 10:03 kid;) 阅读(15) 评论(0) 推荐(0)