一、LLM 应用 & Agent 编排框架

框架Github 地址备注
LangChain https://github.com/langchain-ai/langchain 🦜🔗主仓库,Python+TSGitHub
LangGraph https://github.com/langchain-ai/langgraph LangChain 官方图编排 Agent 框架arXiv
LlamaIndex https://github.com/run-llama/llama_index 主打 RAG 检索增强cdrdv2-pub...
CrewAI https://github.com/crewAIInc/crewAI 角色式多 Agent,上手简单LangChain
AutoGen(AG2) https://github.com/microsoft/autogen 微软多 Agent 对话框架arXiv
Semantic Kernel https://github.com/microsoft/semantic-kernel 微软 C#/Java/Python 跨平台 AI 框架arXiv
Haystack https://github.com/deepset-ai/haystack 生产级 RAG 流水线框架
Mastra https://github.com/mastra-ai/mastra TypeScript 全栈 Agent 框架arXiv
smolagents https://github.com/huggingface/smolagents HuggingFace 轻量 AgentarXiv
DSPy https://github.com/stanfordnlp/dspy 声明式提示词自动优化框架
OpenAI Agents SDK https://github.com/openai/openai-agents-python OpenAI 官方 Agent SDKarXiv

二、Java 生态 AI 框架(适配你的 SpringBoot 项目)

框架Github 地址备注
Spring AI https://github.com/spring-projects/spring-ai Spring 官方 AI 框架
Spring AI Alibaba https://github.com/alibaba/spring-ai-alibaba 阿里维护,适配通义千问、百炼平台Alibaba Cl...
LangChain4j https://github.com/langchain4j/langchain4j Java 版 LangChain,Java 生态首选

三、推理部署框架(私有化部署、高性能推理)

框架Github 地址备注
vLLM https://github.com/vllm-project/vllm 工业级高吞吐推理引擎vLLM
SGLang https://github.com/sgl-project/sglang RadixAttention,多模态推理加速arXiv
Ollama https://github.com/ollama/ollama 本地一键跑大模型
SWIFT(ModelScope) https://github.com/modelscope/swift 魔搭一站式微调 + 推理
TRT-LLM https://github.com/NVIDIA/TensorRT-LLM 英伟达 GPU 极致推理加速

四、低代码 / 开源 AI 平台

框架Github 地址备注
Dify https://github.com/langgenius/dify 国内热门开源 RAG/Agent 平台
Langflow https://github.com/langflow-ai/langflow LangChain 可视化拖拽编排langflow.o...
Flowise https://github.com/FlowiseAI/Flowise 低代码 LLM 可视化工作流

五、底层深度学习基础框架(训练、CV/NLP)

框架Github/Gitee 地址备注
PyTorch https://github.com/pytorch/pytorch 当下主流训练框架
TensorFlow https://github.com/tensorflow/tensorflow 谷歌老牌框架
PaddlePaddle(飞桨) https://github.com/PaddlePaddle/Paddle 百度,国内产业生态强ACM Digita...
MindSpore(昇思) https://gitee.com/mindspore/mindspore(主仓库)
 
https://github.com/mindspore-ai/mindspore(镜像)
华为昇腾生态昇思Min...

六、配套工具