随笔分类 - AI
摘要：看了太多接口被爬的惨痛教训，我下定决心给自已的FastAPI Agent API来了一次全面加固。本文分享OAuth2+JWT认证、RBAC角色控制、防提示注入、请求频率限制、命令白名单沙箱、API Key轮换与环境隔离等实战方案，每条都有即拿即用的代码，让你的AI Agent安全上线不踩坑。
阅读全文
摘要：LLM Agent 动辄几十秒的“思考”时间，足以让任何前端请求直接挂掉。作为一名被 API 超时折磨过的程序媛，我今天把 FastAPI 异步任务处理方案翻出来分享给你。从简单的后台任务到专业的任务队列，再到让用户不焦虑的 WebSocket 进度推送，全都是反反复复Debug出来的实战经验！
阅读全文
摘要：你是不是也遇到过Agent“六亲不认”的尴尬？刚说的话转头就忘。本文从实际开发痛点出发，用生活化比喻拆解Agent记忆分类，手把手教你用FastAPI依赖注入、Redis和PostgreSQL，为Agent轻松装上短期与长期记忆，实现跨轮次对话，让用户不再抓狂。
阅读全文
摘要：上回我们用 FastAPI 给大模型装了个门铃，但它只会动嘴皮子。这一篇直接给它接上双手：用 Pydantic 定义工具参数，集成函数调用能力，让 Agent 能自动判断该查天气、做计算还是搜资料。从工具注册、意图解析到异步执行和失败降级，每一步都是我在深夜里真刀真枪踩出来的，看完你也能写出一个真正能干活的 AI 助手。
阅读全文
摘要：你是不是也受够了本地跑着大模型，却不知道怎么把它变成别人能调的接口？这篇文章手把手带你用 FastAPI 和 Ollama 搭起第一个 AI Agent 接口。不讲虚的，直接从请求模型写到依赖注入，把“Agent = LLM + 工具 + 编排逻辑”这件事用最接地气的方式说清楚。看完你就能跑通一个完整的 /chat 端点，还带自动生成的 Swagger 文档。
阅读全文
摘要：后端实现了流式输出，前端却不知道怎么接？本文详细讲解三种主流的前端接收方式：原生EventSource、fetch流式读取、微软fetch-event-source库，并对比优缺点。同时总结了前端最容易翻车的五个大坑（CORS、数据格式、重连、兼容性、内存泄漏），附带进阶打字机体验技巧，让你轻松实现丝滑的AI对话界面。
阅读全文
摘要：很多AI应用因为响应太慢被用户吐槽，其实用FastAPI实现流式输出就能让文字逐字出现，体验如真人打字。本文从原理到实战，带你用StreamingResponse和生成器快速打造“打字机”效果，并分享了CORS、超时、异常处理等四个容易翻车的细节，最后给出首字优化和速率限制的进阶建议。适合正在用FastAPI构建AI服务的开发者参考。
阅读全文
摘要：本文手把手教你用FastAPI搭建文生图服务，结合ollama本地优化提示词，diffusers调用dreamshaper8-lcm模型生成图片，并配置CORS让局域网设备都能访问。全是实战经验，帮你少踩坑。
阅读全文
摘要：很多人在用FastAPI调用外部API时会遇到阻塞、超时甚至崩溃。本文从asyncio原理讲起，通过FastAPI+httpx异步调用本地ollama模型，带你一步步搭建一个对话窗口，并分享我踩过的坑和解决方案。
阅读全文
摘要：春节时看到公众号有个留言：“能不能搞个AI助手，要能聊天气、查限行，还得私有部署。” 别慌！这篇手记用FastAPI + Ollama + 开源模型，加上一点点天气数据微调，跑通一个能对话查询天气的demo。全程口语化，附代码、踩坑记录，直接可以搬到你的项目里。
阅读全文
浙公网安备 33010602011771号