一、LLM 应用 & Agent 编排框架
| 框架 | Github 地址 | 备注 |
|---|---|---|
| LangChain | https://github.com/langchain-ai/langchain | 🦜🔗主仓库,Python+TSGitHub |
| LangGraph | https://github.com/langchain-ai/langgraph | LangChain 官方图编排 Agent 框架arXiv |
| LlamaIndex | https://github.com/run-llama/llama_index | 主打 RAG 检索增强cdrdv2-pub... |
| CrewAI | https://github.com/crewAIInc/crewAI | 角色式多 Agent,上手简单LangChain |
| AutoGen(AG2) | https://github.com/microsoft/autogen | 微软多 Agent 对话框架arXiv |
| Semantic Kernel | https://github.com/microsoft/semantic-kernel | 微软 C#/Java/Python 跨平台 AI 框架arXiv |
| Haystack | https://github.com/deepset-ai/haystack | 生产级 RAG 流水线框架 |
| Mastra | https://github.com/mastra-ai/mastra | TypeScript 全栈 Agent 框架arXiv |
| smolagents | https://github.com/huggingface/smolagents | HuggingFace 轻量 AgentarXiv |
| DSPy | https://github.com/stanfordnlp/dspy | 声明式提示词自动优化框架 |
| OpenAI Agents SDK | https://github.com/openai/openai-agents-python | OpenAI 官方 Agent SDKarXiv |
二、Java 生态 AI 框架(适配你的 SpringBoot 项目)
| 框架 | Github 地址 | 备注 |
|---|---|---|
| Spring AI | https://github.com/spring-projects/spring-ai | Spring 官方 AI 框架 |
| Spring AI Alibaba | https://github.com/alibaba/spring-ai-alibaba | 阿里维护,适配通义千问、百炼平台Alibaba Cl... |
| LangChain4j | https://github.com/langchain4j/langchain4j | Java 版 LangChain,Java 生态首选 |
三、推理部署框架(私有化部署、高性能推理)
| 框架 | Github 地址 | 备注 |
|---|---|---|
| vLLM | https://github.com/vllm-project/vllm | 工业级高吞吐推理引擎vLLM |
| SGLang | https://github.com/sgl-project/sglang | RadixAttention,多模态推理加速arXiv |
| Ollama | https://github.com/ollama/ollama | 本地一键跑大模型 |
| SWIFT(ModelScope) | https://github.com/modelscope/swift | 魔搭一站式微调 + 推理 |
| TRT-LLM | https://github.com/NVIDIA/TensorRT-LLM | 英伟达 GPU 极致推理加速 |
四、低代码 / 开源 AI 平台
| 框架 | Github 地址 | 备注 |
|---|---|---|
| Dify | https://github.com/langgenius/dify | 国内热门开源 RAG/Agent 平台 |
| Langflow | https://github.com/langflow-ai/langflow | LangChain 可视化拖拽编排langflow.o... |
| Flowise | https://github.com/FlowiseAI/Flowise | 低代码 LLM 可视化工作流 |
五、底层深度学习基础框架(训练、CV/NLP)
| 框架 | Github/Gitee 地址 | 备注 |
|---|---|---|
| PyTorch | https://github.com/pytorch/pytorch | 当下主流训练框架 |
| TensorFlow | https://github.com/tensorflow/tensorflow | 谷歌老牌框架 |
| PaddlePaddle(飞桨) | https://github.com/PaddlePaddle/Paddle | 百度,国内产业生态强ACM Digita... |
| MindSpore(昇思) | https://gitee.com/mindspore/mindspore(主仓库)
|
华为昇腾生态昇思Min... |
六、配套工具
- LangSmith(可观测):https://github.com/langchain-ai/langsmith-sdk
- LangServe(一键发布 Chain 为 API):https://github.com/langchain-ai/langserve