12、数据通信交换架构：决定设备转发能力上限的引擎

 

前言

第九章我们看过数据通信设备的硬件架构，第十章梳理了软件架构，本章进入最后一块核心拼图：交换架构。报文从入端口到出端口，中间靠什么完成"多对多"的搬运？为什么交换网的能力决定了整台设备的转发上限？共享总线、共享存储、Crossbar 矩阵、CLOS 多级架构各自解决了什么问题、又留下了什么遗憾？本章沿着"是什么 → 包交换与信元交换 → 四种典型架构 → 未来向光交换演进"的主线逐一回答。适合已具备以太网与路由器基础概念的读者阅读。

本章内容概览

节	主题	回答的问题
一	什么是交换网	交换网的通用模型与关键评价指标
二	包交换和信元交换	上送交换网的数据单元该是 " 整包 " 还是 " 切片 "
三	交换架构的功能和典型模式	控制路径 / 数据路径的划分，时分与空分两大类架构
四	共享总线交换	最早成功应用的交换架构如何工作
五	共享存储交换	以共享缓存为中心的输出缓冲结构
六	Crossbar 矩阵交换	N×N 任意互连的无阻塞矩阵
七	基于动态路由的 CLOS 交换	多级架构如何做到容量与扩展性兼得
八	交换架构的未来演进	传统模式总结、 Scale UP/OUT 、光交换三路线

一、什么是交换网

交换网是数据通信设备内部的中枢神经。要理解各种交换架构的差异，先要建立它的通用模型，并明确评价一个交换架构好坏的尺度。

1.1 交换网的核心作用与通用模型

交换网的核心作用是在数据通信设备内实现多业务单元间信息交换，完成源端口接收报文到目的端口发送的转发；其能力决定设备数据转发能力上限，交换网技术是推动设备向更大容量、更高性能发展的关键技术之一。

数据通信设备交换网的通用模型由四个部分组成：输入端口连接上行业务单元，输出端口连接下行业务单元，交换矩阵负责实现输入和输出端口之间的数据连接，交换控制模块则实现对输入输出端口以及交换矩阵的控制和管理。

图 1　交换架构的通用模型

1.2 从交换单元到交换网络

为什么需要专门的交换网？一个直观的算术是：当系统有 N 个端口需要互连时，如果两两直连，一共需要 N×(N-1)/2 条互连线——端口数一多，连线规模将不可接受。为此产生了多端口互连的交换需求和相对应的技术：先做出一个带控制端和状态端的 a×b 交换单元，再把多个交换单元按照一定的拓扑结构和控制方式组合在一起，就可以构成更大规模的交换网络。

1.3 衡量交换架构的六个关键参数

参数	含义
吞吐量	业务流量经过交换网的最大带宽，体现输入端口到输出端口连接资源和调度效率
效率	最大限度地使用所有的输入输出端口资源，避免产生空调度
公平性	包括优先级公平性和端口公平性，确保所有端口都享有平等的调度机会
QoS	包括带宽、时延、抖动等指标，体现交换网对不同优先级数据流的保证能力
调度	根据策略和顺序决定何时对某队列进行服务，实现 " 多对一 " 的选择功能
仲裁	控制数据流通过交换网路径的过程，实现 " 多对多 " 的选择功能

二、包交换和信元交换

确定了模型，下一个问题是：送进交换网的数据单元长什么样？这引出了包交换与信元交换两种路线的分野。

2.1 报文与信元：两种交换单元

包和信元均是信息传输的格式与计量单位：数据通信网络中，一次性传输的内容称为报文或数据包；将其切割成的更小传输单元即为信元。数据通信设备（如交换机、路由器）依据上送交换网的数据包类型，分为包交换和信元交换两类。

包交换设备在交换过程中以接收到的完整数据报文为单位进行交换，报文从上行线卡（LPU）经交换网（SFU）整体送往下行线卡。

图 2　包交换示意图

信元交换设备中，数据交换的基本单元则是数据包切片后形成的定长信元。

2.2 优劣对比与应用场景

对比项	包交换	信元交换
交换单元	完整数据报文	数据包切片后的定长信元
优点	节省网络芯片中的重组资源；容量大、协议简单、转发单元为标准以太报文、易于扩展	信元长度小，可保证传输时延和高优先级业务优先，利于各链路负载分担
缺点	包长随机，大容量交换网调度异常复杂，容易出现拥塞	下游芯片需要额外重组资源；切信元增加的报文头加重链路开销，降低带宽利用率
典型场景	交换机	高端框式交换机、路由器

一句话概括：包交换胜在简单和带宽利用率，信元交换胜在时延可控与调度公平，二者的取舍贯穿了后续所有交换架构的设计。

三、交换架构的功能和典型模式

在进入具体架构之前，先看交换架构对外提供的功能全貌，以及技术谱系上的两大分类。

3.1 控制路径与数据路径

交换架构的功能可以大致分为控制路径和数据路径两类。控制路径功能包括数据路径调度、数据路径的控制参数设置（节点/端口互连、内存分配、服务等级、服务时间等）以及流和拥塞控制（流控信号、背压机制、丢包机制）；数据路径功能包括输入到输出的数据传输和缓存，并延伸出组播广播、流量监管与整形、流量汇聚与复用、端口级报文预处理/后处理、容错冗余等能力。

3.2 时分交换与空分交换，四种典型模式

交换技术可以分为时分交换架构和空分交换架构两类。时分交换架构将时间划分为若干不重叠的小时隙，把不同时隙分配给不同数据包做转发处理；空分交换架构则对物理空间分割配置组合，同时建立多条相互独立的数据传输路径，支持同一时间内多路径并行传输。

落到工程实现上，典型模式有四种：共享总线交换、共享内存（共享存储）交换、Crossbar 矩阵交换和 CLOS 交换，它们分别在本章第四至七节展开。

图 3　交换架构的四种典型模式

四、共享总线交换

共享总线交换是首个成功应用的交换架构。它由计算机共享式总线演变而来：所有输入、输出端口连于一条共享总线，通过仲裁机制确保任一时刻仅有一对端口使用总线通信，保证各端口/设备在特定时段访问总线完成数据交换；早期 TDM 时分复用系统采用的就是这种架构。其实现简单、成本低，是早期低速路由器的常用架构。

图 4　共享总线交换架构的原理

4.1 三种总线结构

共享总线在演进中出现了三种结构。单共享总线：整个系统只有一条总线，所有数据都通过这条总线进行交换；多共享总线：系统中存在多条总线，每个端口和每条总线均有连接，存在多条交换路径；多级共享总线：系统中存在多级总线，下级端口之间的交换只使用本地总线，不同本地总线上的端口之间交换需要通过上层总线完成。

4.2 关键特性

衡量一套共享总线交换架构，主要看四个特性：总线位宽（总线通道的宽度或数量）、总线速率（总线上每个通道的速率）、总线带宽（总线的容量）和突发模式（为提升总线利用效率，总线一般具备突发传输数据的能力）。

五、共享存储交换

共享存储交换是一种输出缓冲交换结构：系统中所有输入和输出共享一个多写多读的共享缓存。报文经输入侧 TM/NPU 进入 Ingress Queues，由 IS/P 写入 Share memory，再经 OP/S、MUX 从输出侧送出，全程由 Controller 统一调度。它的优点是容易通过优先级来实现各种业务特性，缺点是带宽可扩展性受存储访问速度的限制——所有流量都要过同一块存储，存储器的读写速度就成了天花板。

图 5　共享存储交换的数据出处理流程

六、Crossbar 矩阵交换

共享存储的天花板在存储器，Crossbar 则把互连做成了矩阵。Crossbar 可将 N 个输入端口与 N 个输出端口任意互连，优点是有较高的吞吐量、电路实现简单；缺点是随着端口数量增加，交换矩阵中开关的数量以及仲裁器的复杂性随之增加。

图 6　Crossbar 的报文转发流程

一次完整的转发流程分三步：报文首先进入上行线卡（Line Card）的输入队列（Ingress Queues），上行线卡向交换网发起请求；交换网卡（Fabric Card）上的 Crossbar 仲裁器规划交换路径；当上行线卡收到交换网卡的回应后，报文从上行线卡通过交换网卡的 Crossbar 发送到下行线卡的输出队列（Egress Queues）。

七、基于动态路由的 CLOS 交换

Crossbar 的开关数量随端口数平方级增长，扩展性受限。CLOS 架构用"多级互连"化解了这个矛盾，也成为现代高端设备与数据中心网络的主流选择。

7.1 基本原理

CLOS 交换架构是一个多级交换架构，每一级的交换单元都和下一级的所有交换单元相连接。通过 (k, n) 两个参数就可以定义整个交换矩阵；实现相同容量的交换网时，采用 CLOS 结构可以减少交叉点，从而使网络具有更好的扩展性。

图 7　CLOS 交换架构的基本原理

7.2 从单框到集群再到数据中心的三级扩展

CLOS 的魅力在于同一种思想可以逐级放大。单框设备：线卡上的 FIC 芯片（含 NP、TM、buffer）和交换网板上的 Fabric 芯片从逻辑上看就是一个 3 级 CLOS 交换网络。多框集群：上述结构中的 FABRIC 模块连接到其他整机中的业务板，可以实现更大规模的交换能力，典型应用就是核心路由器的多框集群系统（如 CCC SFU1～SFU32 与 CLC1～CLC8 的互连）。网络级：CLOS 架构还可以进一步扩展到网络级应用——数据中心网络的 Ingress / Middle / Engress 三层 CLOS 架构；再将对折、把输入端和输出端都放在接入交换机上，就得到了当前数据中心网络经典的 Spine+Leaf 架构。

图 8　数据中心网络的 Spine+Leaf 架构

八、交换架构的未来演进

四种传统架构各有千秋，也各有天花板。本节先给出总结性的对比，再看扩展方式的演进，最后展望光交换这一潜在方向。

8.1 传统交换模式总结

交换架构	容量	QoS 功能	扩展性	阻塞交换
共享总线	低	差	差	是
共享存储	中	优	优	否
Crossbar 矩阵	高	差	差	否
基于动态路由的 CLOS	极高	优	优	否

传统交换模式通过单个接口的速率提高、交换矩阵端口数量扩展、组网拓扑升级等方式实现扩展性，对应的两种思路是 Scale UP 与 Scale OUT。

组网模式	Scale UP	Scale OUT
单节点复杂度	高	低
管理协同难度	低	高
容量限制	单设备规模	理论上无限制（考虑多级拓扑）
网元可替换性	弱	强

8.2 光交换：更密、更快、更省

当前数据通信设备的交换模式以电信号承载信息并通过电交换转发。电交换受单接口速率、芯片出接口密度等制约，而为了追求更低时延，光交换成为潜在发展方向。相较电交换，光交换的优势体现在三个方面：出接口密度更高——光纤细且无需屏蔽层，还可借助波分复用扩展接口数；静态时延低一个数量级——从百 ns 级降至十 ns 级，且无光缓存故无额外动态时延抖动；能耗更低——基于光通路空分切换，无需光/电、电/光转换，这是与电交换最本质的区别。

光交换目前有三条技术路线。OCS（光电路交换）是面向连接的交换方式：数据传输前需由 OCS 设备提前建立从源端到目的端的光路，每一条光域链路分配一个专门的波长承载数据；数据包通过 OCS 交换分为光链路建立、保持、拆除三个阶段，关键特点是面向连接、大颗粒度、带宽利用率低。

图 9　OCS 交换原理

OPS（光分组交换）是面向无连接的交换方式：传输前不需要提前建立路由和预先分配资源，光分组的数据静荷和分组头在同一条光路中传输，交换节点根据分组头携带的目的地址确认路由，再更新分组头信息。OBS（光突发交换）是折中方案：将各类包统一为 BDP 格式以加大交换粒度，缓存集中在 Edge 节点（中间节点无需光缓存），突发数据与控制分组分离传输（一个 BCP 对应一个 BDP）；相比 OPS 交换粒度更粗，突发头和载荷分离传送处理降低了光交换节点复杂度，载荷发送无需等待应答信号，突发载荷在中间节点透明传输，不需要光/电、电/光转换，也不需要光缓存。

光交换方式	报文粒度	时延	带宽利用率	开销	复杂度
OCS	粗	大	低	小	低
OPS	细	小	高	大	高
OBS	中	小	较高	大	中

本章总结

● 交换网基础：交换网是设备内多业务单元间信息交换的核心组件，其能力决定设备转发上限；通用模型由输入端口、输出端口、交换矩阵、交换控制模块组成；评价参数包括吞吐量、效率、公平性、QoS、调度、仲裁六个方面。

● 包交换与信元交换：包交换以完整报文为单位，节省重组资源、协议简单，适用于交换机，但大容量下调度复杂；信元交换以定长信元为单位，时延可控、利于高优业务与负载分担，适用于高端框式交换机与路由器，但需额外重组资源且信元头增加链路开销。

● 功能与分类：功能分为控制路径（调度、参数设置、流与拥塞控制）和数据路径（传输、缓存、组播广播、流量管控）；架构分为时分交换与空分交换两大类。

● 四种典型架构：共享总线实现简单、成本低，但容量低、有阻塞；共享存储靠优先级易实现业务特性，但受存储访问速度限制；Crossbar 吞吐量高、电路简单，但开关数量随端口数增长；CLOS 多级全互连，相同容量下减少交叉点，容量极高、扩展性优、支持 QoS 且无阻塞。

● 演进方向：扩展模式上，Scale UP 单节点复杂度高、管理简单、容量受限；Scale OUT 单节点简单、理论容量无限制、网元可替换性强。新型方向上，光交换具备更高接口密度（静态时延从百 ns 级降至十 ns 级）和更低能耗，三条路线中 OCS 面向连接、大颗粒度、带宽利用率低，OPS 无连接、细颗粒度、复杂度高，OBS 为平衡时延与复杂度的中等颗粒度方案。

结语

从一条被仲裁的总线，到一块共享的存储，再到 N×N 的 Crossbar 与多级 CLOS，交换架构的每一步演进都在回答同一个问题：如何在更大的容量下同时保住时延、公平与扩展性。CLOS 用"化整为零、多级互连"给出了工业界的标准答案，而 Spine+Leaf 把这个答案从一块交换网板推广到了整个数据中心；当电交换逼近物理极限，光交换正带着低一个数量级的时延和更低的能耗站到下一轮演进的起点上。理解了交换架构，就理解了数据通信设备性能边界的来龙去脉。