AI层级划分
以下是我这些天学习AI自己总结的层级划分，希望对于正在学习AI的朋友有点帮助
完整六层栈（自上而下）
┌─────────────────────────────────────────┐
│ 6. 应用层 用户直接用的产品 │
│ 5. 编排层 组装 AI 应用/工作流 │
│ 4. 模型层 大模型本身（权重+API） │
│ 3. 引擎层 把模型跑起来的推理软件 │
│ 2. 平台层 云算力 + MaaS 平台 │
│ 1. 硬件层 GPU / 显存 │
└─────────────────────────────────────────┘
第 1 层：硬件层
| 项目 | 说明 |
|---|---|
| GPU | NVIDIA（H100/H20/B200、消费级 4090/5090）、AMD（MI300X）、Apple Silicon（统一内存） |
| 显存（HBM） | 决定能跑多大的模型；1TB 统一内存 vs 80GB HBM 的带宽差距是训练速度的命门 |
| CPU / NPU | llama.cpp 可以纯 CPU 跑小模型；手机端跑模型靠 NPU |
学习重点：显存容量怎么算（参数 × 字节数）、带宽和算力（TFLOPS）的区别、量化对显存的影响。
第 2 层：平台层（云 + MaaS）
梯队一：综合云大厂（做云起家，模型是后来加的）
| 平台 | 归属 | 特点 |
|---|---|---|
| 阿里云百炼 | 阿里 | 模型市场最全，Qwen 自家开源生态 |
| 火山引擎 | 字节 | Doubao 自家模型，价格杀手 |
| 腾讯云 / 腾讯元器 | 腾讯 | 混元 + 第三方模型都有 |
| 百度智能云千帆 | 百度 | 国内最早做 MaaS 的，文心一言的底座 |
| 华为云 ModelArts / 盘古 | 华为 | 政企市场最强，昇腾国产算力路线 |
| 京东云言犀、天翼云/移动云（运营商系） | — | 跟着喝汤的 |
梯队二：模型厂商自营开放平台（不做通用云，只租自家模型 API）
这一类经常被忽略，但它们就是"平台层"的轻量形态：
| 平台 | 模型 |
|---|---|
| DeepSeek 开放平台 | DeepSeek-V3/R1，价格战就是这家挑起来的 |
| 智谱开放平台（open.bigmodel.cn） | GLM 系列，开源 GLM-4 做的 |
| Moonshot AI 开放平台 | Kimi 系列模型 |
| MiniMax 开放平台 | M2 系列，语音强 |
| 阶跃星辰开放平台 | Step 系列，多模态强 |
| 讯飞星火、商汤日日新 | 偏政企/垂直行业 |
这一类对你的意义其实比大厂云更直接：你不用买云服务器，注册个账号拿 API key 就能调模型，按 token 付费。
梯队三：第三方推理云（聚合层，新物种）
| 平台 | 模式 |
|---|---|
| 硅基流动（SiliconFlow） | 聚合各家开源模型，提供统一 API，主打便宜和快 |
| Gitee AI | 开源中国出的，聚合开源模型 |
这类平台自己不训练模型，只提供推理算力和统一接口，相当于"模型的 CDN"，很适合想一次接入多个开源模型对比的场景。
学习重点：这一层对使用者主要是"买 API、按 token 计费"，技术学习价值不高。了解定价模型（输入/输出 token 分开计费、缓存命中折扣）即可。
第 3 层：引擎层（本场对话的主战场）
| 产品 | 定位 |
|---|---|
| Ollama | 一体化本地推理 + 模型管理，省心首选 |
| llama.cpp | Ollama 的底层，纯 C/C++，CPU 可跑，GGUF 格式创造者 |
| vLLM | 生产级高并发推理，性能王者 |
| SGLang | 新一代，结构化生成强 |
| MLX | Apple Silicon 专用 |
| TensorRT-LLM | NVIDIA 官方极致优化 |
| KTransformers | CPU+GPU 异构，消费级硬件跑超大模型 |
| Docker | 容器工具——部署引擎/应用的标准打包方式，不属于任何一层但贯穿各层 |
学习重点：先吃透 Ollama（已会），然后 llama.cpp（编译、GGUF 量化原理），有余力上 vLLM（它是面试和生产的硬通货）。
第 4 层：模型层
| 模型 | 归属 | 开放程度 |
|---|---|---|
| Qwen（千问） | 阿里 | 开源权重，可本地部署（你在 Ollama 跑的） |
| DeepSeek | DeepSeek 公司 | 开源（V3/R1），可本地部署 |
| Kimi | Moonshot AI | 开源了 K2 等权重，也可 API |
| Doubao（豆包） | 字节 | 闭源，只走火山引擎 API |
| 混元（Hunyuan） | 腾讯 | 部分开源，Marvis 调用它 |
| GPT 系列 | OpenAI | 闭源，只 API |
| Claude | Anthropic | 闭源，只 API |
| MiniMax 系列 | MiniMax | 部分开源（M2），Mavis 产品用 |
| GLM 系列 | 智谱 AI | 部分开源，有自营 API 平台 |
| 文心（ERNIE） | 百度 | 闭源，只走百度千帆 API |
| 讯飞星火 | 科大讯飞 | 闭源，偏教育/语音场景 |
| Step 系列 | 阶跃星辰 | 部分开源，多模态见长 |
| 盘古 | 华为 | 闭源，主打政企，不零售 |
学习重点：开源 vs 闭源的本质区别（权重给不给）；模型规格怎么读（8B/70B/MoE）；微调（QLoRA）发生在这一层。
第 5 层：编排层（对话中新拆出来的）
| 产品 | 形态 |
|---|---|
| Coze（扣子） | 字节，无代码搭 bot |
| 腾讯元器 | 腾讯，对标 Coze |
| Dify | 开源，可自部署，国内最流行 |
| Flowise | 开源，拖拽式 |
| LangChain / LlamaIndex | 代码级编排框架（Python） |
| Marvis 的"自动化工作流" | 产品内置的编排能力（用户无感） |
| Deepseek Harness | 一切皆可插件 |
学习重点：提示词工程、RAG（知识库检索增强）、Agent 的工具调用循环。Dify 自己部署一个玩，是入门最快的方式。
第 6 层：应用层
| 产品 | 类型 |
|---|---|
| Claude Code / Codex CLI | 终端编程 Agent（闭源模型） |
| Cursor / Copilot | AI IDE / 编辑器插件 |
| Aider / OpenHands / Cline / Roo Code | 开源编程 Agent，可接本地模型 |
| 豆包 App / 元宝 / Kimi App | 消费级 AI 助手 |
| Marvis（腾讯）/ Mavis（MiniMax） | 操作系统级个人 Agent（2026 新物种） |
| LM Studio / Jan / GPT4All | 本地模型桌面 GUI |
| 腾讯 ima | AI 知识库笔记 |
学习重点：对你最实用的是 Aider + Ollama 这条免费本地球接码链路。
一条建议的学习顺序
结合你已有基础（会 Ollama、有库开发经验），按这个顺序投入产出比最高：
- 引擎层：Ollama（已会）→ llama.cpp 量化原理
- 模型层：挑 Qwen3 或 DeepSeek 深入，做一次 QLoRA 微调实操（unsloth）
- 编排层：自部署 Dify，做一个带知识库的 RAG 应用
- 应用层：Aider 接本地模型，搭自己的编程 Agent
- 硬件层/平台层：用到再补，不用系统学
每一层的动手项目正好串成一条线：本地引擎跑模型 → 微调它 → 编排成应用 → 用 Agent 调用——跑完这一圈，六层你就全部真实摸过了，比看十篇文章都管用。
浙公网安备 33010602011771号