🔥 当前热门 AI 开发框架（按场景分类）

分为 LLM 应用 / Agent 编排框架、Java 企业栈框架、推理部署框架、低代码 AI 平台、底层深度学习框架 五大类，方便你选型

一、LLM 应用 & Agent 智能体框架（最火，做 RAG、Agent 对话）

  1. LangChain（Python/TS） 生态最庞大，链、记忆、工具调用、海量向量库 / 模型厂商适配器；适合快速做 RAG、Agent 原型；配套 LangSmith 可观测。
  2. LangGraph（Python/TS，LangChain 生态） 生产级 Agent 编排，图结构、状态持久化、循环分支、人机介入 human-in-the-loop，复杂长流程 Agent 首选
  3. LlamaIndex（Python/TS） 主打RAG 知识库检索，文档解析、索引、检索策略很强，适合 “文档问答、私有知识库” 场景
  4. CrewAI（Python） 角色扮演多 Agent，API 极简，快速搭建 Agent 团队分工协作，上手门槛低，国内热度很高
  5. Microsoft AutoGen（AG2）（Python/.NET） 微软多 Agent 对话框架，Agent 之间自主聊天、代码执行、人机协同，学术 / 企业多 Agent 方案常用
  6. OpenAI Agents SDK（Python/TS） OpenAI 官方 Agent 框架，替代旧 Swarm，和 GPT 深度绑定、轻量、支持子 Agent 转交、护栏校验
  7. Semantic Kernel（微软，C#/Python/Java） .NET/Java 企业友好，适合微软生态、传统业务系统接入大模型
  8. Haystack（Python） 生产级 RAG 流水线，模块化、可观测，欧洲企业使用多
  9. Mastra（TypeScript） JS/TS 前端全栈团队首选，原生 TS，Agent 工作流、评估、追踪一体化
  10. smolagents（HuggingFace）（Python） 轻量极简 Agent，HuggingFace 生态，代码优先、体积小二

  11. 二、Java 生态 AI 框架（适配你现在 SpringBoot 项目）

    1. Spring AI Spring 官方原生 AI 框架，无缝对接 SpringBoot，统一抽象大模型、向量库、RAG、工具调用；企业 Java 项目首选
    2. Spring AI Alibaba SpringAI 分支，深度适配通义千问、国内大模型、阿里云向量库，国内项目很常用
    3. LangChain4j Java 版 LangChain，注解式 AI Service、结构化输出、记忆、RAG、Agent，Java 生态最成熟的独立大模型框架

    三、推理部署框架（本地 / 私有化部署大模型、高并发服务）

    1. vLLM 工业级推理引擎，PagedAttention、连续批处理，吞吐高、显存省，私有化部署标配，兼容 OpenAI 接口
    2. SGLang 高性能推理，支持多模态、speculative decoding，很多企业替换 vLLM
    3. TRT-LLM（NVIDIA） 英伟达 GPU 极致加速推理，适合 H100/A100 集群
    4. Ollama 本地一键跑开源大模型，开发调试本地模型非常方便，适合本地开发原型
    5. SWIFT（魔搭 ModelScope） 国内热门，一站式微调、推理、量化，支持 LLM + 多模态模型微调，国内开发者多arXiv

    四、低代码 / 开源 AI 平台（不用写大量代码，快速上线）

    1. Dify 国内爆火开源平台，可视化 RAG、Agent、提示词、API 发布，团队协作友好
    2. Langflow LangChain 配套可视化拖拽平台，可视化搭建 LangChain 工作流，可导出代码
    3. Flowise 低代码 LLM 可视化编排，社区活跃
    4. Coze（扣子） 字节官方 Bot 平台，低代码 Agent，适合快速做应用

    五、底层深度学习基础框架（模型训练、微调、CV/NLP 基础）

    1. PyTorch：现在 AI 训练主流，生态最丰富，LLM、多模态、CV 都用它
    2. TensorFlow / Keras：老牌框架，工业部署、TF Lite 端侧
    3. MindSpore：华为昇腾生态框架
    4. PaddlePaddle（飞桨）：百度，国内中文场景、产业落地生态强

    六、其他热门

    • DSPy：声明式提示词框架，自动优化 prompt，适合复杂检索 + 推理任务
    • Google ADK：谷歌官方 Agent 开发套件，面向 Gemini / GCP
    • Vercel AI SDK：前端 Next.js 生态，流式输出、前端对接 LLM

    ✅ 结合你当前 SpringBoot 项目给选型建议

    如果你是 Java 后端做机器人 / 场站业务：

    • 简单 RAG、对接大模型：Spring AI
    • 复杂 Agent、多工具调用：LangChain4j
    • 想可视化管理知识库、给产品直接用：Dify