低资源大模型研究：优化器篇（一）：MeZO及其变体研究综述

摘要

大语言模型（Large Language Models, LLMs）的规模持续增长，使得基于反向传播的传统微调方法面临严峻的内存瓶颈。零阶优化（Zero-Order Optimization, ZO）通过仅依赖前向传播来估计梯度，为资源受限场景下的模型微调提供了可行路径。MeZO（Memory-efficient Zeroth-order Optimizer）作为该领域的开创性工作，首次将ZO-SGD成功应用于百亿级LLM的微调，实现了与推理同级别的内存占用。然而，MeZO面临着梯度估计方差大、收敛速度慢等固有挑战。随后涌现的大量研究工作从稀疏化更新、方差缩减、方向引导、自适应步长、低秩结构利用、数据改写等多个角度对MeZO进行了改进。本文系统梳理了MeZO及其变体的发展脉络，从背景动机、核心方法、理论公式、实验设置与结果、改进方向五个维度对各类方法进行详细阐述，并展望了该领域的未来研究方向。

关键词：零阶优化；大语言模型微调；内存高效训练；MeZO；梯度估计

一、引言

随着大语言模型参数规模突破千亿甚至万亿级别，传统的基于反向传播（Backpropagation, BP）的微调方法面临着日益严峻的内存瓶颈。在训练过程中，BP需要存储大量的中间激活值（activations）、梯度以及优化器状态，这对GPU显存提出了极高的要求。例如，在单张A100 80GB GPU上，BP方法仅能微调27亿参数的模型。

零阶优化方法为这一问题提供了全新的解决思路。与BP不同，ZO方法通过有限差分（finite differences）利用两次前向传播的损失值差异来估计梯度，完全绕开了反向传播过程，从而避免了中间激活值的存储。这种“仅前向”（forward-only）的范式使得ZO方法在内存效率上具有天然优势。

然而，经典的ZO理论分析表明，ZO方法在高维参数空间中的收敛速度极慢，难以应用于大规模模型优化。MeZO（Memory-efficient Zeroth-order Optimizer）的关键贡献在于，它通过原地操作（in-place operation）实现了ZO-SGD的高效实现，并首次证明：在充分的预训练和合适的任务提示下，ZO方法能够在大规模LLM微调中取得与BP方法可比肩的性能。

MeZO的提出开启了一个活跃的研究方向。后续工作从多个维度对其进行了改进：Sparse MeZO和CurvZO通过参数稀疏化降低方差；MeZO-SVRG引入方差缩减技术；ConMeZO通过锥约束的方向采样加速收敛；AdaMeZO将自适应步长思想融入ZO框架；MUZO利用多次查询和动量提升估计质量；GRZO从批次维度扩展有效梯度方向数；LoZO利用低秩结构捕获梯度本质；HiZOO引入海森矩阵信息指导优化；OAT-Rephrase则从数据层面进行优化感知的改写。

本文旨在系统梳理MeZO及其变体的发展脉络，为相关领域的研究者提供一份全面的技术综述。

二、MeZO：内存高效的零阶优化器

2.1 背景与动机

Sadhika Malladi等人于2023年提出MeZO，其核心动机是解决LLM微调中的内存瓶颈。传统BP方法的内存消耗由三部分组成：模型参数、中间激活值和优化器状态。随着模型规模增大，中间激活值的内存占用成为主要瓶颈。ZO方法虽然理论上可以规避这一问题，但经典理论认为其在大型模型上会“灾难性地慢”。MeZO旨在打破这一理论预判，证明ZO方法在大模型微调中的实用性。

2.2 核心方法

MeZO的核心是对经典ZO-SGD方法的原地实现（in-place implementation）。其每次迭代包含以下步骤：

1. 参数扰动：对当前参数 \(`\theta`\) 添加随机扰动 \(`z \sim \mathcal{N}(0, I)`\)，得到 \(`\theta + \epsilon z`\) 和 \(`\theta - \epsilon z`\)。
2. 两次前向传播：分别计算扰动后参数的损失 \(`L(\theta + \epsilon z)`\) 和 \(`L(\theta - \epsilon z)`\)。
3. 梯度估计：利用同时扰动随机近似（Simultaneous Perturbation Stochastic Approximation, SPSA）公式估计梯度：
   \(`\hat{g} = \frac{L(\theta + \epsilon z) - L(\theta - \epsilon z)}{2\epsilon} \cdot z`\)
4. 参数更新：\(`\theta \leftarrow \theta - \eta \hat{g}`\)，其中 \(`\eta`\) 为学习率。

MeZO的关键实现技巧是原地扰动：在每次迭代中直接修改参数张量而非创建副本，从而将内存开销降至推理水平。

2.3 实验设置与结果

MeZO在以下配置上进行了全面评估：

• 模型类型：掩码语言模型（如BERT）和自回归语言模型（如GPT、OPT）；
• 模型规模：从数百万到660亿参数；
• 下游任务：分类、多项选择和生成任务。

主要实验结果：

1. 显著的内存节省：在单张A100 80GB GPU上，MeZO可微调300亿参数模型，而BP仅能微调27亿模型——内存减少高达12倍。
2. 性能可比：MeZO在多个任务上取得了与BP微调相当的性能，显著优于上下文学习（in-context learning）和线性探测（linear probing）。
3. 广泛的兼容性：MeZO既可进行全参数微调，也可与LoRA、前缀微调等参数高效微调技术结合使用。
4. 非可微目标优化：MeZO能够直接优化准确率、F1等非可微目标函数。

2.4 改进方向

MeZO的主要局限在于收敛速度慢——由于梯度估计存在较大方差，需要更多迭代次数才能达到同等性能。后续工作正是围绕这一问题展开，形成了多个改进方向：

• 稀疏化更新：仅对部分参数进行扰动（Sparse MeZO、LeZO）；
• 方差缩减：引入SVRG等方差缩减技术（MeZO-SVRG）；
• 方向引导：将随机搜索限制在更可能指向下降的方向（ConMeZO）；
• 自适应步长：引入类似Adam的自适应机制（AdaMeZO）；
• 多次采样：通过多次查询降低估计方差（MUZO）；
• 批次级扩展：利用批次内样本信息提升有效方向数（GRZO）；
• 低秩结构：捕获梯度中的低秩本质（LoZO）；
• 曲率信息：利用海森矩阵指导优化（HiZOO、CurvZO）；
• 数据优化：从数据层面适配ZO优化特性（OAT-Rephrase）。

三、稀疏化改进：让扰动更精准

3.1 Sparse MeZO：更少参数，更好性能

背景

Yong Liu等人发现，ZO梯度估计的误差对大权重参数的伤害远大于对小权重参数的伤害。这一观察启发了稀疏化思路：与其扰动所有参数引入大量噪声，不如精心选择一个参数子集进行扰动。

方法描述

Sparse MeZO提出了一种简单而有效的参数选择方案，每次迭代仅对选中的参数子集施加ZO更新。具体而言：

• 基于参数的重要性度量（如权重大小）构建选择掩码；
• 仅对被选中参数计算ZO梯度估计；
• 通过内存优化的稀疏掩码实现，确保算法内存消耗仍维持在推理级别。

核心公式

设选择掩码为 \(`M \in \{0, 1\}^d`\)，其中 \(`d`\) 为参数总数。Sparse MeZO的梯度估计为：

\(`\hat{g}_{\text{sparse}} = M \odot \left( \frac{L(\theta + \epsilon z) - L(\theta - \epsilon z)}{2\epsilon} \cdot z \right)`\)

其中 \(`\odot`\) 表示逐元素乘积。

实验设置与结果

• 模型：LLaMA-30B
• 硬件：单张A100 GPU
• 任务：多种NLP下游任务

关键结果：

• 在RTE任务上，相比MeZO实现9%的绝对准确率提升和3.5倍的训练加速；
• 在单张A100上成功微调LLaMA-30B；
• 无需额外内存开销，持续改进性能和收敛速度。

改进方向

Sparse MeZO的参数选择策略相对静态。后续的CurvZO进一步提出，参数选择应动态依赖于损失函数的曲率信息。

3.2 CurvZO：曲率引导的自适应稀疏优化

背景

Sparse MeZO虽然减少了扰动参数的数量，但参数选择缺乏对模型参数空间几何特性的感知。在ZO优化中，每次查询仅能获得标量损失反馈，如何从中提取有用信息来指导参数选择是一个核心挑战。

方法描述

Shuo Wang等人提出的CurvZO（Adaptive Curvature-Guided Sparse Zeroth-Order Optimization）的核心创新在于：从标量的ZO反馈中在线追踪曲率信号，并利用这些信号构建参数化的采样分布。

具体机制：

1. 在线曲率追踪：从每次ZO查询的标量损失中估计每个参数的曲率信息；
2. 动态采样分布：曲率越大的参数被选中扰动的概率越高；
3. 自适应扰动预算：根据曲率信号分布的演化动态调整总的扰动参数数量。

核心公式

CurvZO构建参数 \(`i`\) 的采样概率 \(`p_i`\) 正比于其曲率信号 \(`c_i`\)：

\(`p_i \propto c_i, \quad \sum_{i=1}^d p_i = 1`\)

每次迭代从该分布中采样 \(`k`\) 个参数进行扰动，其中 \(`k`\) 也根据曲率分布动态调整。

实验设置与结果

• 模型：OPT系列、Llama系列
• 任务：多种NLP任务

关键结果：

• 相比ZO基线，准确率最高提升4.4个百分点；
• 实现最高2倍的训练加速；
• 保持内存高效性。

改进方向

CurvZO展示了曲率信息在ZO优化中的巨大潜力。后续的HiZOO进一步将对角海森矩阵显式引入ZO框架。

四、方差缩减：让估计更稳定

4.1 MeZO-SVRG：引入经典方差缩减技术

背景

MeZO的ZO-SGD梯度估计具有较高的方差，导致收敛不稳定且需要大量迭代。随机方差缩减梯度法（Stochastic Variance Reduced Gradient, SVRG）是经典一阶优化中降低方差的有效技术。

方法描述

Tanmay Gautam等人将SVRG的思想引入ZO框架，提出了MeZO-SVRG。其核心思想是维护一个参考梯度估计，并在每次迭代中结合当前估计与参考估计来降低方差。

核心公式

MeZO-SVRG的梯度估计为：

\(`\hat{g}_{\text{SVRG}} = \hat{g}(\theta_t) - \hat{g}(\tilde{\theta}) + \mu`\)

其中 \(`\hat{g}(\tilde{\theta})`\) 是参考点 \(`\tilde{\theta}`\) 处的梯度估计（每隔若干轮重新计算），\(`\mu`\) 是真实梯度的无偏估计。

实验设置与结果

• 模型：掩码和自回归LM
• 任务：GLUE基准

关键结果：

• 在完整参数和部分参数微调中，测试准确率相比MeZO最高提升20%；
• 通常以2倍GPU小时数减少即可达到MeZO的峰值准确率；
• 内存占用相比一阶SGD显著降低（自回归模型减少2倍）；
• 消除了对任务特定提示的依赖。

改进方向

MeZO-SVRG虽有效降低了方差，但需要定期重新计算参考梯度，增加了前向传播次数。如何在方差缩减与计算开销之间取得更好平衡是后续研究的重点。

4.2 MUZO：多次查询与动量结合

背景

MeZO每次迭代仅使用单次随机扰动进行梯度估计，导致估计方差较大。直觉上，多次查询（multiple queries）取平均可以降低方差，但会成倍增加前向传播次数。

方法描述

Yuezhang Peng等人提出的MUZO（Multiple-query Memory Efficient Zeroth-Order）通过方差缩减的多次查询获得梯度估计的平均值。更重要的是，MUZO将多次查询的估计与Adam优化器结合。

核心公式

MUZO使用 \(`q`\) 次独立扰动估计梯度的平均值：

\(`\hat{g}_{\text{MUZO}} = \frac{1}{q} \sum_{j=1}^{q} \hat{g}^{(j)}`\)

其中 \(`\hat{g}^{(j)}`\) 是第 \(`j`\) 次随机扰动的ZO梯度估计。该估计随后被用于Adam风格的参数更新。

实验设置与结果

• 模型：多种LLM
• 任务：分类、多项选择、生成

关键结果：

• MUZO-Adam相比MeZO-SGD收敛更好，接近一阶优化器性能；
• MUZO-Adam在11个任务中的8个上取得了最佳ZO性能；
• 提供了MUZO-Adam收敛性的理论保证。

改进方向

MUZO通过增加前向传播次数换取更优的估计质量。如何在有限的前向预算下最大化估计质量（即采样策略优化）是潜在的研究方向。

五、方向引导：让搜索更聪明

5.1 ConMeZO：锥约束的方向采样

背景

在高维参数空间中，随机搜索方向指向真正下降方向的概率极低，这是ZO方法收敛慢的根本原因。如果能将搜索限制在更可能包含真实梯度的方向集合中，将显著加速收敛。

方法描述

Lejs Deen Behric等人提出的ConMeZO将随机采样限制在以动量估计为中心的锥体（cone）内。具体而言：

• 维护一个动量估计 \(`m_t`\)（历史梯度方向的指数移动平均）；
• 每次迭代从以 \(`m_t`\) 为轴的锥体中采样扰动方向；
• 锥体的角度控制探索与利用的平衡。

核心公式

ConMeZO的采样方向 \(`z`\) 满足：

\(`\langle z, m_t \rangle \geq \alpha \|z\| \|m_t\|`\)

其中 \(`\alpha \in (0, 1]`\) 控制锥体的张角。\(`\alpha = 0`\) 时退化为均匀随机采样（即MeZO），\(`\alpha = 1`\) 时退化为沿动量方向的确定性更新。

实验设置与结果

关键结果：

• 相比MeZO，收敛速度最高提升2倍；
• 保持ZO方法的低内存占用；
• 理论证明了ConMeZO与MeZO具有相同的最坏情况收敛率。

改进方向

ConMeZO的锥体角度是固定的超参数。如何让锥体角度自适应地根据优化进程调整，是值得探索的方向。

5.2 GRZO：批次级的方向扩展

背景

MeZO每次迭代仅使用一个随机扰动方向进行梯度估计。然而，每个mini-batch包含多个样本，这些样本本身提供了丰富的信息。

方法描述

Liyan Tan等人提出的GRZO（Group-Relative Zeroth-Order Optimization）为mini-batch中的每个样本生成一个“伪独立”的扰动，并通过组相对归一化（group-relative normalization）聚合每个样本的损失。

核心公式

设mini-batch大小为 \(`B`\)，GRZO为每个样本 \(`b`\) 生成扰动 \(`z_b`\) 并计算损失 \(`L_b(\theta + \epsilon z_b)`\) 和 \(`L_b(\theta - \epsilon z_b)`\)。梯度估计为：

\(`\hat{g}_{\text{GRZO}} = \frac{1}{B} \sum_{b=1}^{B} \frac{L_b(\theta + \epsilon z_b) - L_b(\theta - \epsilon z_b)}{2\epsilon} \cdot z_b`\)

关键创新在于，这些 \(`z_b`\) 是伪独立的（通过特定的随机种子生成），且组相对归一化确保了估计的方向无偏性。

实验设置与结果

• 模型：RoBERTa-large、Llama3-8B、OPT-13B
• 任务：多种NLP任务

关键结果：

• 有效梯度方向数从1提升到批次大小，而无需额外前向传播成本；
• 在Llama3-8B上，相比MeZO平均准确率提升3.0%，峰值GPU内存降低23%；
• 作为MeZO核心的即插即用替换模块，可将稀疏、低秩、量化ZO变体的性能平均提升6.0%；
• 理论证明了方差随批次大小成比例缩小。

改进方向

GRZO的思路可以进一步与ConMeZO的方向引导相结合，在批次级别实现更智能的方向采样。

六、自适应优化：让步长更智能

6.1 AdaMeZO：无需存储矩的Adam风格ZO优化

背景

Adam通过估计梯度的一阶矩（动量）和二阶矩（自适应学习率）来适应不同的损失地形。然而，直接将这些矩估计引入ZO框架会使内存需求增加三倍，抵消MeZO的内存优势。

方法描述

Zhijie Cai等人提出的AdaMeZO在ZO框架中隐式地利用Adam风格的一阶和二阶矩估计，而无需在内存中显式存储它们。

核心公式

AdaMeZO的核心洞察是：矩估计可以从ZO梯度估计的历史中重构，而无需存储完整的历史。具体而言，通过巧妙的数学变换，AdaMeZO能够在每次迭代中仅使用当前ZO梯度估计和少量标量状态来近似Adam更新。

实验设置与结果

关键结果：

• 相比MeZO，前向传播次数减少高达70%；
• 轨迹可视化证实AdaMeZO能够适应多样化的损失地形；
• 提供了理论分析支持。

改进方向

AdaMeZO展示了在ZO框架中“无存储”地利用高阶信息的可能性。类似的思路可推广到其他自适应优化器（如RMSprop、AdaGrad）。

七、结构利用：捕获梯度的低秩本质

7.1 LoZO：低秩ZO梯度估计

背景

LLM的梯度矩阵通常具有低秩结构。传统的ZO方法在全参数空间中进行随机扰动，未能利用这一结构先验。

方法描述

LoZO（Low-rank Zeroth-Order）通过设计低秩ZO梯度估计器来捕获LLM中的低秩结构。其核心思想是将ZO梯度估计投影到一个低秩子空间中。

核心公式

设参数矩阵为 \(`W \in \mathbb{R}^{m \times n}`\)，LoZO的梯度估计为：

\(`\hat{G}_{\text{LoZO}} = U \hat{G}_{\text{ZO}} V^\top`\)

其中 \(`U \in \mathbb{R}^{m \times r}`\) 和 \(`V \in \mathbb{R}^{n \times r}`\) 是低秩投影矩阵（\(`r \ll \min(m, n)`\)），\(`\hat{G}_{\text{ZO}}`\) 是标准ZO梯度估计。

实验设置与结果

关键结果：

• 提供了LoZO的收敛性保证，将其形式化为子空间优化方法；
• 低秩特性使LoZO能够与动量技术结合，而仅需极少的额外内存开销；
• 性能接近一阶方法，同时显著降低内存需求。

改进方向

LoZO的秩 \(`r`\) 是固定的超参数。如何让秩自适应地根据任务和优化进程调整，是值得探索的方向。

八、曲率信息利用：从一阶到二阶

8.1 HiZOO：海森矩阵启发的ZO优化

背景

MeZO及其大多数变体仅利用了一阶信息（梯度估计）。二阶信息（海森矩阵）能够提供损失曲面的曲率信息，指导更高效的参数更新。

方法描述

HiZOO（Hessian informed Zeroth-Order Optimizer）是首个将对角海森矩阵引入ZO优化器的工作。其核心创新在于：

• 在ZO框架中估计对角海森矩阵；
• 利用海森信息对ZO梯度估计进行预条件（preconditioning）；
• 相比经典ZO优化器，每步仅增加一次前向传播。

核心公式

HiZOO的更新规则为：

\(`\theta \leftarrow \theta - \eta \cdot H^{-1} \hat{g}_{\text{ZO}}`\)

其中 \(`H`\) 是对角海森矩阵的估计，\(`\hat{g}_{\text{ZO}}`\) 是ZO梯度估计。海森矩阵的对角元素通过额外的前向传播从ZO反馈中估计。

实验设置与结果

关键结果：

• 显著减少训练步数，有效提升模型准确率；
• 在测试函数上可视化优化轨迹，证实HiZOO在处理异质曲率方面的有效性；
• 在多种任务和模型规模上验证了有效性。

改进方向

HiZOO仅估计了对角海森矩阵。如何以可接受的计算开销估计更丰富的曲率信息（如块对角海森）是未来的研究方向。

九、数据层面优化：让数据适配优化器

9.1 OAT-Rephrase：优化感知的训练数据改写

背景

现有ZO方法的改进大多聚焦于优化算法本身。然而，ZO方法的性能不仅取决于优化器，还与训练数据的特性密切相关。

方法描述

OAT-Rephrase（Optimization-Aware Training data rephrasing）提出了一种全新的思路：让LLM阅读MeZO论文，理解ZO优化的动力学特性，然后改写训练数据使其更适配MeZO的优化过程。

具体流程：

1. 将MeZO论文作为上下文提供给一个强大的LLM；
2. 该LLM理解ZO优化的特性（如对梯度尺度敏感等）；
3. 将原始训练样本改写为语义等价但更“ZO友好”的形式。

实验设置与结果

• 任务：5个分类任务
• 模型架构：3种LLM架构

关键结果：

• 持续改进MeZO微调性能；
• 经常缩小甚至消除与一阶方法的性能差距；
• 是一种可复用、低开销的ZO微调增强手段。

改进方向

OAT-Rephrase目前依赖强大的LLM进行数据改写。如何设计更轻量、更自动化的数据适配策略是一个开放问题。此外，该思路可推广到其他ZO变体的适配。

十、混合策略与系统优化

10.1 Addax：ZO与FO梯度的混合

背景

ZO方法内存效率高但收敛慢，FO方法收敛快但内存开销大。能否兼取两者之长？

方法描述

Addax在mini-batch内根据数据点的内存消耗分别计算ZO梯度或FO梯度。具体而言：

• 对内存消耗大的样本使用ZO梯度（仅前向）；
• 对内存消耗小的样本使用FO梯度（含反向传播）；
• 将ZO和FO梯度估计组合作为最终的更新方向。

核心公式

设mini-batch中ZO样本集合为 \(`\mathcal{B}_{\text{ZO}}`\)，FO样本集合为 \(`\mathcal{B}_{\text{FO}}`\)，则：

\(`g = \frac{1}{|\mathcal{B}_{\text{ZO}}|} \sum_{b \in \mathcal{B}_{\text{ZO}}} \hat{g}_{\text{ZO}}^{(b)} + \frac{1}{|\mathcal{B}_{\text{FO}}|} \sum_{b \in \mathcal{B}_{\text{FO}}} g_{\text{FO}}^{(b)}`\)

实验设置与结果

关键结果：

• 加速MeZO的收敛速度并提升最终模型性能；
• 在温和假设下建立了收敛性理论；
• 相比MeZO，超参数选择限制更少。

10.2 LeZO：层-wise稀疏ZO优化

背景

Sparse MeZO以参数为稀疏单元，而模型的不同层在ZO优化中可能扮演不同角色。

方法描述

LeZO（layer-wise sparse and efficient zeroth-order optimizer）以层为稀疏化的基本单元，在不同微调步骤中动态更新被调优的层集合。

核心公式

LeZO在每一步选择层的子集 \(`\mathcal{L}_t`\)，仅对这些层的参数进行扰动和更新：

\(`\theta_{\mathcal{L}_t} \leftarrow \theta_{\mathcal{L}_t} - \eta \hat{g}_{\mathcal{L}_t}`\)

其中 \(`\mathcal{L}_t`\) 随时间 \(`t`\) 动态变化，以实现全参数微调的等效效果。

实验设置与结果

关键结果：

• 有效降低计算成本；
• 相比MeZO实现更快的收敛；
• 无额外内存开销。

10.3 AdaLeZO：自适应的层-wise采样

背景

LeZO的层选择是启发式的。AdaLeZO将层选择形式化为一个优化问题。

方法描述

AdaLeZO（Adaptive Layer-wise Zeroth-Order Optimization）将层选择过程建模为非平稳多臂赌博机（non-stationary Multi-Armed Bandit）问题。每一层被视为一个“臂”，AdaLeZO动态地将有限的扰动预算分配给最敏感的参数层。

核心贡献

关键特点：

• 作为通用即插即用模块，无缝增强现有ZO优化器的效率；
• 不产生额外内存开销；
• 适用于多种ZO算法。

十一、总结与展望

11.1 方法对比总结

下表从多个维度对比了MeZO及其主要变体：

方法	核心思想	额外前向次数	内存开销	主要优势	代表性成果
MeZO	原地ZO-SGD	2次/步	推理级	开创性工作，内存极低	12×内存减少
Sparse MeZO	静态参数稀疏化	2次/步	推理级	性能与速度双提升	RTE +9%准确率，3.5×加速
CurvZO	曲率引导动态稀疏	2次/步	推理级	精度更高，训练更快	+4.4%准确率，2×加速
MeZO-SVRG	方差缩减	额外定期计算	略增	方差降低，性能提升	+20%准确率
MUZO	多次查询+Adam	q×2次/步	略增	接近FO性能	8/11任务最佳
ConMeZO	锥约束方向采样	2次/步	推理级	收敛加速	2×加速
GRZO	批次级方向扩展	2次/步	推理级	零额外成本提升	+3.0%准确率，-23%显存
AdaMeZO	无存储Adam风格	2次/步	推理级	步数大幅减少	-70%前向次数
LoZO	低秩结构利用	2次/步	低	捕获梯度本质	接近FO性能
HiZOO	海森矩阵预条件	3次/步	略增	曲率自适应	显著减少步数
OAT-Rephrase	数据改写	0（预处理）	无	数据层优化	缩小与FO差距
Addax	ZO+FO混合	混合	可控	兼顾效率与性能	更快收敛
LeZO	层-wise动态稀疏	2次/步	推理级	计算效率	更快收敛

11.2 未来展望

基于对现有工作的系统梳理，我们认为该领域未来有以下几个值得关注的方向：

1. 更智能的稀疏化策略。从Sparse MeZO的静态选择到CurvZO的动态曲率引导，稀疏化策略日益精细化。未来可探索基于强化学习或元学习的参数/层选择策略。

2. ZO与FO的深度融合。Addax展示了混合策略的潜力。如何在内存预算约束下最优地分配ZO和FO计算资源，是一个重要的优化问题。

3. 面向ZO优化的数据工程。OAT-Rephrase开辟了数据层面的优化空间。未来可探索自动化的数据改写、ZO感知的数据增强等方法。

4. 系统层面的协同优化。ZO方法的“仅前向”特性使其在内存为中心的架构中具有天然优势。如何将ZO算法创新与系统级优化（如CPU-GPU异构计算、稀疏算子优化）相结合，是值得关注的交叉方向。

5. 理论理解的深化。尽管MeZO及其变体在实证上取得了成功，但对ZO方法在大规模非凸优化中为何有效的理论理解仍不充分。更深入的理论分析将为算法设计提供更有力的指导。

6. 更广泛的应用场景。ZO方法不仅适用于LLM微调，还可推广到联邦学习、隐私保护训练、黑盒优化等场景。跨场景的方法迁移和适配是未来的重要方向。

参考文献

[1] Malladi, S., Gao, T., Nichani, E., et al. Fine-Tuning Language Models with Just Forward Passes. ICML, 2023.

[2] Liu, Y., Zhu, Z., Gong, C., et al. Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning. NeurIPS, 2025.

[3] Wang, S., et al. CurvZO: Adaptive Curvature-Guided Sparse Zeroth-Order Optimization for Efficient LLM Fine-Tuning. arXiv:2603.21725, 2026.

[4] Behric, L. D., et al. ConMeZO: Adaptive Descent-Direction Sampling for Gradient-Free Finetuning of Large Language Models. arXiv:2511.02757, 2025.

[5] Gautam, T., et al. Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models. arXiv:2404.08080, 2024.

[6] Peng, Y., Liu, Y., Wen, F., Chen, X. MUZO: Leveraging Multiple Queries and Momentum for Zeroth-Order Fine-Tuning of Large Language Models. EMNLP, 2025.

[7] Cai, Z., et al. AdaMeZO: Adam-style Zeroth-Order Optimizer for LLM Fine-tuning Without Maintaining the Moments. arXiv:2605.00650, 2026.

[8] Tan, L., et al. GRZO: Group-Relative Zeroth-Order Optimization for Large Language Model Fine-Tuning. arXiv:2606.02857, 2026.

[9] Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures. ICLR, 2025.

[10] HiZOO: Second-Order Fine-Tuning without Pain for LLMs: A Hessian Informed Zeroth-Order Optimizer. arXiv, 2024.

[11] OAT-Rephrase: Optimization-Aware Training Data Rephrasing for Zeroth-Order LLM Fine-Tuning. arXiv, 2025.

[12] Addax: Utilizing Zeroth-Order Gradients to Improve Memory Efficiency and Performance of SGD for Fine-Tuning Language Models. NeurIPS, 2024.

[13] LeZO: Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models. arXiv, 2024.