LYSHARK

摘要： 本地大模型开发已经变得十分便捷，llama.cpp 作为轻量高效的 GGUF 模型推理引擎，可以在普通 PC 上运行 Qwen、Llama 系列量化模型。LangChain 作为大模型应用编排框架，除了对接云端 OpenAI，还能对接 llama‑server 的 OpenAI 兼容接口，不仅可以实现基础对话，还能开发具备工具调用能力的 Agent 智能代理。本文将依次演示LangChain框架的安装、基础对话调用、自定义工具 Agent 开发等功能实现。 阅读全文

摘要： 在大模型落地场景中，本地轻量化部署因低延迟、高隐私性、无需依赖云端算力等优势，成为开发者与 AI 爱好者的热门需求。本文聚焦 Windows 环境，详细拆解 llama.cpp 工具的编译流程，并指导如何通过 modelscope 下载 GGUF 格式的模型，最终实现模型本地启动与 API 服务搭建。 阅读全文