进化算法一定比局部搜索更强吗?MOEA和Pareto 局部搜索在多目标组合优化问题上的实验分析GECCO2024

论文解读:Miqing Li, Xiaofeng Han, Xiaochen Chu, Zimin Liang. Empirical Comparison between MOEAs and Local Search on Multi-Objective Combinatorial Optimisation Problems. GECCO 2024.

摘要: 多目标组合优化是否应该默认使用 NSGA-II 或 MOEA/D?李密青教授等在四类问题、两种规模和两种预算下,对七种代表性算法进行了系统比较。本文以作者修正后的实验数据为准,从 Pareto 前沿、搜索景观、邻域规模、档案复用和预算分配出发,逐项解读四组结果图,并联系 2024 至 2026 年关于随机局部搜索、主动档案和可变步长的前沿进展,说明理论如何指导实验设计,实验又如何修正理论判断。

关键词: 多目标组合优化;进化算法;Pareto 局部搜索;SEMO;NSGA-II;MOEA/D;适应度景观;实验比较

如果要规划一批车辆的配送路线,我们往往同时关心总里程、客户等待时间和司机工作量。几个目标通常彼此冲突:里程最短的方案未必最均衡,等待时间最短的方案也可能需要增加车辆或绕行。算法因而需要给出一组各有取舍的方案,供决策者根据偏好选择。

路线、排程、装载和设施分配还有一个共同特点:决策空间是离散的。交换两座城市的访问次序会得到一条新路线,翻转一个二进制变量会得到一个新组合,交换两个设施的位置会得到一个新布局。这里没有可以直接沿用的梯度,算法怎样定义“邻居”、怎样选择下一步搜索的位置,非常影响算法性能

多目标进化算法(multi-objective evolutionary algorithms,MOEAs)是这一领域的常用工具。NSGA-II、SMS-EMOA 和 MOEA/D 维护种群,通过选择、交叉和变异在多个方向上并行搜索。与之相对,Pareto 局部搜索(Pareto local search,PLS)从已经找到的非支配解出发,系统检查其邻域。Miqing Li等在 GECCO 2024 发表的这篇论文,追问了一个长期被默认选型遮蔽的问题:在多目标组合优化中,有限预算 究竟应该用于种群式探索,还是用于深入检查已有好解的邻域?

作者没有提出一套结构复杂的新算法,而是组织了一场系统对照:4类双目标组合优化问题、2种问题规模、2种预算、7种算法,每个配置独立运行30次,仅主要比较就包含 3360 次独立运行。

修正后的实验给出的答案具有明确条件:没有一种搜索范式在所有设置中占优。固定评价次数时,主流 MOEAs 往往更有竞争力;问题规模较小、运行时间充分且邻域规模可承受时,PLS 可能进入领先组;SEMO 的综合记录仍然最好,但原始发表结果明显放大了它相对主流 MOEAs 的优势。

要理解这个答案,不能把理论和实验拆开。理论告诉我们应该观察哪些机制,实验则检验这些机制在不同问题和预算下是否真的改变结果;实验中出现的反常现象,又推动后续研究进一步分析随机邻域采样、档案复用和可变步长。

一 研究对象与关键科学问题

多目标组合优化寻找的是一组折中解

一个一般的多目标组合优化问题可以写成

\[\min_{x\in\Omega}\;\mathbf{F}(x)=\bigl(f_1(x),f_2(x),\ldots,f_m(x)\bigr), \]

其中,Ω 是由二进制串、排列或其他离散结构构成的有限可行域,f₁,…,fₘ 是可能彼此冲突的目标。最大化问题可以通过等价变换写成同一形式。

如果方案 x 在所有目标上都不差于方案 y,并且至少有一个目标更好,就说 x 支配 y。没有被其他方案支配的解称为非支配解。全部 Pareto 最优解映射到目标空间后形成 Pareto 前沿。

实际算法通常无法穷举整个可行域,只能返回一个非支配解档案。这个档案既要靠近真正的 Pareto 前沿,也要覆盖不同偏好的折中区域。因此,多目标搜索不仅要回答“能否找到更好的解”,还要回答“能否在多个折中方向上同时取得进展”。

表面上比较算法 实质上比较预算怎样分配

MOEA 与 PLS 的根本差别在于它们怎样分配有限的评价机会。

主流 MOEA 维护一个有限种群。每一代从多个候选解出发,通过交叉和变异产生后代,再依据非支配排序、拥挤距离、超体积贡献或分解权重决定哪些解继续留在种群中。它的优势在于同时推进多个搜索方向,但不会完整检查每个候选解的邻域。

PLS 采用另一种策略。它从非支配档案中选择一个尚未探索的解,枚举这个解的全部邻居,将新发现的非支配解加入档案,然后再选择下一个待探索解。它能够系统利用局部结构,但如果一个解拥有几十万甚至更多邻居,大量预算可能被单个局部区域消耗。

因此,这篇论文真正涉及四个相互关联的科学问题。

理论问题 需要观察的机制 论文中的实验对应
搜索广度与邻域深度如何取舍 每次检查一个邻居,还是系统扫描整个邻域 重点比较 PLS 与 SEMO,并改变邻域规模
搜索历史应该怎样被利用 档案只负责保存结果,还是继续参与父代选择 比较 SEMO 的主动档案与主流 MOEA 的有限种群
问题结构是否改变算法优势 二进制或排列表示、邻域语义、变量耦合与景观结构 同时考察背包、NK-landscape、TSP 与 QAP
怎样定义公平的计算预算 控制评价次数,还是控制真实运行时间 同时设置 100000 次评价与 1 小时墙钟时间

这四个问题构成了全文的理论坐标。后面的实验把每一种机制落实为可以观察的算法对照、问题条件和预算设置。

二 邻域如何定义组合优化的搜索景观

搜索景观不是一张预先画好的地形图

在组合优化中,fitness landscape 通常由三部分共同定义:解空间、邻域关系和从解到目标值的映射。两个解是否“相邻”,取决于研究者允许什么局部操作。改变邻域算子,即使目标函数不变,也会改变算法看到的搜索景观。

对于多目标问题,每个解对应的是一个目标向量,不能简单地给每个位置标注一个单一高度。所谓平滑或崎岖,描述的是局部移动所引起的目标变化是否具有较强连续性、变量之间是否存在复杂交互、局部最优区域是否密集等性质。

这里需要明确一个证据边界。原论文把背包归为相对平滑的问题,把 QAP 和 K=10 的 NK-landscape 归为较崎岖的问题,并引用既有研究把 TSP 的实验现象解释为可能存在一个或多个大漏斗。作者并没有穷举本文实例的全部决策空间,也没有单独计算景观指标。因此,本文可以把这些结构作为分析线索,但不能声称实验已经测出了每个双目标实例的完整适应度景观。

顺序型排列与位置型排列为什么不同

TSP 和 QAP 都用排列编码,但同一个排列在两个问题中表达完全不同的决策。

表示类型 一个排列表示什么 真正重要的关系 与之匹配的操作
TSP 的顺序型排列 城市被访问的先后顺序 哪些城市在路线中相邻以及边怎样连接 Order crossover 与 2-opt
QAP 的位置型排列 第 i 个设施被分配到排列值所指的位置 每个设施位于哪个位置以及设施对之间的流量距离成本 Cycle crossover 与两位置交换

例如,TSP 中的排列 [3,1,4,2] 表示依次访问城市 3、1、4、2,相邻城市形成路线边;QAP 中同样的排列可以表示设施 1 放在位置 3、设施 2 放在位置 1,以此类推。TSP 关心相对次序与相邻关系,QAP 关心设施和位置的一一映射。正因为排列语义不同,不能仅凭“都是排列编码”就预期同一种算法或算子产生相同效果。

三 七种算法对应三类搜索思想

作者选择的七种方法覆盖随机采样、系统局部搜索、随机化局部搜索和三类主流 MOEA。

方法 搜索记忆 新解怎样产生 它在实验中代表什么
Random Search 保存历史非支配解 在整个搜索空间独立随机采样 不利用邻域的最低基线
PLS 无界非支配档案 选择一个尚未探索的档案解,枚举其全部邻居 系统邻域探索
Anytime PLS 工作档案与历史档案 按乐观超体积改进指标 OHI 选择待探索解,并改进接受与邻域策略 改善 PLS 的提前终止性能
SEMO 无界非支配档案,同时作为父代池 从档案随机选父代,再随机产生一个邻居 随机化 Pareto 局部搜索
NSGA-II 规模为 100 的有限种群 选择、交叉和变异 非支配排序与拥挤距离
SMS-EMOA 规模为 100 的有限种群 每次产生一个后代 超体积贡献驱动的生存选择
MOEA/D 规模为 100 的有限种群 在相邻分解子问题间重组和变异 分解式多目标搜索

SEMO 是这组对照中的关键“机制探针”。它形式上属于进化算法,却比主流 MOEA 简单得多:从档案随机选一个解,在它的邻域中随机抽取一个候选,如果候选没有被档案支配,就把它加入档案,并删除被它支配的旧解。

PLS 与 SEMO 使用相同的问题邻域,也都维护无界非支配档案。两者最醒目的区别是,PLS 系统检查一个父代的全部邻居,SEMO 每次只抽样一个邻居。SEMO 与三种主流 MOEA 的差别则更复杂,涉及档案是否参与产生新解、种群是否有界以及生存选择方式。因此,PLS 与 SEMO 的对照较直接,而 SEMO 与主流 MOEA 的差异不能归因于单一组件。

四 作者如何把理论问题转化为实验

四类问题覆盖不同表示 邻域与规模

所有实验均为双目标问题。每类问题设置一个小规模实例和一个大规模实例。

问题 目标与实例生成 规模 PLS 与 SEMO 的邻域 理论上关注的结构
0-1 背包 最大化两套物品总价值;价值和重量从 10 到 100 的整数中随机生成,每个容量为对应总重量的一半 100、1000 个物品 精确翻转两位 相对平滑的二进制问题;邻域规模为 C(D,2)
NK-landscape 最大化两个随机贡献函数;每个变量与另外 K 个变量共同决定局部贡献,K=10 D=50、200 翻转一位 变量交互较强;邻域规模为 D
TSP 最小化两套独立旅行成本;边成本从 [0,1) 随机生成 50、500 个城市 2-opt 顺序型排列;邻域随城市数近似二次增长
QAP 最小化两套设施流量与位置距离的乘积和;流量从 [0,100] 生成,位置从二维区域 [0,5000] 生成 50、200 个设施 交换两个位置 位置型排列;一次交换会同时改变多项流量距离成本

背包问题为什么使用两位翻转?因为所有物品价值均为正。一位从 0 变为 1 往往同时提高两个目标,一位从 1 变为 0 又往往同时降低两个目标,不容易形成有意义的目标权衡。精确翻转两位可以实现类似“移出一个物品,再换入另一个物品”的调整。

这个选择也制造了最清楚的规模效应。1000 个物品对应

\[\binom{1000}{2}=499500 \]

个两位翻转邻居。100000 次评价甚至不足以完整检查一个解的邻域。相比之下,D=200 的 NK-landscape 只有 200 个一位翻转邻居。论文由此可以观察:系统扫描在邻域近似二次增长时是否更容易被预算拖垮。

主流 MOEA 使用与表示匹配的算子

问题 交叉算子 变异算子 PLS 与 SEMO 的局部操作
背包 Uniform crossover,概率 1.0 Bit flip,单个位的预期变异概率 1/D 两位翻转
NK-landscape Uniform crossover,概率 1.0 Bit flip,单个位的预期变异概率 1/D 一位翻转
TSP Order crossover,概率 1.0 2-opt,概率 0.05 2-opt
QAP Cycle crossover,概率 1.0 2-swap,概率 0.05 2-swap

不同问题使用不同算子是必要的,因为交叉和变异必须尊重表示语义。但这也意味着四类问题并不是只改变某一个景观因素的严格控制实验。实验揭示的是“完整算法与问题条件”的关联,不能把所有差异都归结为平滑度或崎岖度。

两种预算观察两种资源约束

作者设置了两种终止条件。

  • 100000 次目标函数评价。 每产生并评价一个候选解就消耗一次预算。这个设置适合目标评价昂贵的情形,也相对有利于每次只生成少量候选解的 MOEA。

  • 1 小时墙钟时间。 算法在同一处理器核心上运行一小时,能够完成多少次评价取决于数据结构和单步开销。局部搜索能够高速枚举邻居,因此这个设置相对有利于 PLS。

论文使用 Intel Xeon Gold 6248 2.50 GHz 处理器,全部算法均以 Java 实现并运行在 jMetal 平台上。作者报告,PLS 在 1000 物品背包实例上一小时平均可以探索超过 2.5 亿个候选解。“100000 次评价”和“一小时”并不是强度相近的预算,它们分别对应昂贵目标函数与固定计算时间两种实际情境。

外部档案与统计方法控制比较口径

有限种群可能删除先前发现的非支配解。如果只比较 MOEA 的最后一代种群,结果会同时受到搜索能力和种群保留策略影响。作者因此给七种算法都配置无界外部档案,记录运行期间发现的非支配解,最终以这个档案计算 hypervolume(HV)。PLS 与 SEMO 会从档案中继续选择待搜索解,主流 MOEA 的外部档案只负责记录,这是作者有意保留的算法机制差异。

HV 同时反映解集的收敛位置和覆盖范围,数值越大通常越好。为了避免强算法决定参考点、使弱算法全部得到零 HV,作者先汇总 Random Search 在所有设置下找到的非支配解,据此确定 nadir point,再把参考点向较差方向外移目标取值范围的 10%。

每个算法在每个设置下独立运行 30 次。作者先以显著性水平 0.05 进行 Friedman 检验,再进行两两 Wilcoxon 秩和检验,并用 Holm 方法校正多重比较。结果表中的“胜/平/负”表示该算法相对另外六种算法的显著性比较结果,而不是单次运行的名次。

五 发表后更正改变了哪些判断

论文发表后,作者发现二进制问题的位变异概率在 Java 代码中写成了整数表达式 1/D。当 D>1 时,整数除法使结果成为 0,而不是预期的浮点数 1.0/D。因此,NSGA-II、SMS-EMOA 和 MOEA/D 在背包与 NK-landscape 上实际上没有执行位变异。

作者随后把代码改为 1.0 / problem.getNumberOfVariables(),重新运行受影响的实验,并公开了修正版论文与数据。TSP 和 QAP 使用排列专用算子,不受这次错误影响。

这项更正直接影响论文的核心结论。变异是二进制 MOEA 产生新位模式的重要通道;关闭变异会系统性低估三种主流 MOEA,并改变“哪一种搜索范式更适合二进制问题”的判断。修正后,MOEA/D 的总体记录从 40/8/48 变为 59/13/24,SEMO 则从 85/7/4 变为 72/12/12。

作者仓库中的修正版主要更新了表格和图形,正文个别概括句仍与新表格存在不一致。下面的数值、胜负判断以及图 1 和图 4 均以修正版 MOEAs_vs_LS__Data_Fixed.pdf 的 Tables 1–5 和对应图形为准,不沿用已经与新数据冲突的旧叙述。

六 怎样阅读四组结果图

论文 Figure 1 至 Figure 4 采用相同布局:子图 a 是小规模、100000 次评价,子图 b 是小规模、一小时,子图 c 是大规模、100000 次评价,子图 d 是大规模、一小时。

每种颜色或点形对应一种算法最终保存的非支配档案。背包与 NK-landscape 是最大化问题,点集越靠近右上方越好;TSP 与 QAP 是最小化问题,点集越靠近左下方越好。

图中展示的不是 30 次运行的平均前沿,而是 HV 最接近该算法平均值的一次代表性运行。结果图适合观察收敛位置和覆盖范围,统计胜负仍应以 30 次运行的 HV 表格为准。

下表先给出 16 个设置的领先者。这里的“领先”依据修正版两两统计记录;NK-landscape 的 D=50、一小时设置同时注明平均 HV 最高者,因为它与两两比较记录的最佳者不同。

问题 小规模 100000 次评价 小规模 1 小时 大规模 100000 次评价 大规模 1 小时
背包 MOEA/D PLS 与 SEMO NSGA-II、SMS-EMOA、MOEA/D SEMO
TSP SEMO NSGA-II MOEA/D SEMO
QAP SEMO PLS、Anytime PLS、SEMO、NSGA-II SEMO SEMO
NK-landscape MOEA/D MOEA/D 的两两记录最好;NSGA-II 的平均 HV 最高 SEMO NSGA-II

这张表已经说明,算法排名不是一个固定顺序。接下来需要把结果重新放回邻域、表示、档案和预算四条理论线索中解释。

七 证据一 邻域规模与预算共同决定搜索深度

背包问题展示最明显的预算反转

修正后的背包问题非支配档案

图 1 修正后的背包问题结果。两个目标均为最大化,点集越靠近右上方越好。图源:Li et al., GECCO 2024,作者仓库修正版 Figure 1。

在 100 个物品、100000 次评价的设置中,MOEA/D 的平均 HV 为 1.03×10⁶,与其余六种算法比较取得 6 胜 0 平 0 负。修正后的 NSGA-II 与 SMS-EMOA 也接近最优前沿,PLS 和 Anytime PLS 仍位于较差区域。

预算改为一小时时,PLS 与 SEMO 都取得 5 胜 1 平 0 负。局部搜索此时有足够时间完成大量邻域检查,PLS 的系统性才转化为优势。

在 1000 个物品、100000 次评价的设置中,NSGA-II、SMS-EMOA 和 MOEA/D 的平均 HV 均约为 1.27×10⁸,三者的统计记录均为 4 胜 2 平 0 负;SEMO 为 1.10×10⁸,PLS 与 Anytime PLS 几乎没有形成有效前沿。原因可以直接从邻域规模得到解释:十万次评价连一个 499500 个候选的两位翻转邻域都无法扫描完。

在 1000 个物品、一小时设置中,SEMO 又以 1.63×10⁸ 和 6 胜 0 平 0 负领先。它从整个非支配档案中轮换父代,每次只随机抽取一个邻居,既避免了 PLS 对单个巨大邻域的完整扫描,也不像有限种群那样只从当前种群产生后代。

背包实验支持的是一个条件化判断:系统邻域探索的收益必须与完成一次邻域扫描的成本一起评价。邻域越大,算法越需要把搜索机会分配到更多父代;时间充足时,系统探索才可能重新获得优势。

TSP 说明预算反转并非二进制问题特例

TSP 非支配档案

图 2 TSP 结果。两个目标均为最小化,点集越靠近左下方越好。图源:Li et al., GECCO 2024,Figure 2。

TSP 的四个设置出现了四种不同的领先情形:50 个城市、100000 次评价时,SEMO 为 6 胜 0 平 0 负;50 个城市、一小时时,NSGA-II 为 6 胜 0 平 0 负;500 个城市、100000 次评价时,MOEA/D 为 6 胜 0 平 0 负;500 个城市、一小时时,SEMO 再次取得 6 胜 0 平 0 负。

大规模小预算的子图 c 最有解释力。PLS 与 Anytime PLS 仍停留在很差的位置,三种主流 MOEA 与 SEMO 已经形成靠近左下方的折中前沿。2-opt 邻域随城市数近似二次增长,城市数从 50 增加到 500 后,系统枚举同样会把大量评价集中在少数路线周围。

作者提出一种可能解释:TSP 的搜索空间可能包含一个或多个大漏斗,种群中的多个候选解可以沿不同路径逐步朝优质吸引区域移动。这个解释来自既有 TSP 景观研究,本文没有直接测量这些双目标实例的漏斗结构。因此,实验确认的是算法排名随规模和预算发生变化,而不是对“大漏斗导致 MOEA 领先”的因果证明。

八 证据二 表示语义与变量交互改变搜索效果

QAP 与 TSP 同为排列问题 结果却不相同

QAP 非支配档案

图 3 QAP 结果。两个目标均为最小化,点集越靠近左下方越好。图源:Li et al., GECCO 2024,Figure 3。

QAP 的结果比 TSP 更集中。SEMO 在 50 个设施、100000 次评价以及 200 个设施的两种预算下都取得 6 胜 0 平 0 负。

唯一接近多算法并列的情形是 50 个设施、一小时。PLS、Anytime PLS、SEMO 和 NSGA-II 均取得 3 胜 3 平 0 负,说明在小规模且时间充分时,系统局部搜索、档案驱动搜索和种群搜索可以处于同一统计层级。

规模增加到 200 后,差距迅速扩大。100000 次评价下,PLS 与 Anytime PLS 的平均 HV 甚至低于 Random Search,而 SEMO 已形成明显更靠近左下方的前沿。一小时显著改善了局部搜索,但 SEMO 仍以 2.48×10¹⁶ 的平均 HV 和 6 胜 0 平 0 负领先。

这组结果说明,编码形式只是问题结构的一部分。TSP 的一次 2-opt 改变路线边,QAP 的一次交换会同时改变多个设施对的流量距离成本。顺序型排列和位置型排列需要不同的算子,也可能形成不同的局部改进路径。

NK-landscape 的修正版结果推翻了简单范式判断

修正后的 NK-landscape 非支配档案

图 4 修正后的 NK-landscape 结果。两个目标均为最大化,点集越靠近右上方越好。图源:Li et al., GECCO 2024,作者仓库修正版 Figure 4。

原始发表结果容易让读者形成一个印象:在最崎岖的问题上,PLS 与 SEMO 明显优于三种主流 MOEA。位变异修正后,这个判断发生了实质变化。

在 D=50 的两个预算下,最强的两两比较记录均属于 MOEA/D,三种主流 MOEA 的整体位置也明显改善。100000 次评价时,MOEA/D 的平均 HV 为 8.11×10⁻²,并取得 4 胜 2 平 0 负;一小时时,NSGA-II 的平均 HV 最高,为 8.88×10⁻²,而 MOEA/D 取得 5 胜 1 平 0 负的最强比较记录。

在 D=200、100000 次评价时,SEMO 以 4.41×10⁻² 和 6 胜 0 平 0 负领先。到一小时设置,NSGA-II 的平均 HV 为 4.74×10⁻²,略高于 SEMO 的 4.70×10⁻²;NSGA-II 取得 5 胜 1 平 0 负,SEMO 为 4 胜 2 平 0 负。

因此,“景观崎岖”不能自动推出“系统局部搜索更强”或“主流 MOEA 更差”。变量交互、邻域大小、变异是否有效、档案怎样参与搜索以及预算允许算法访问多少位置,会共同改变结果。NK-landscape 的更正也说明,理论解释必须经得起实现和数据的反向检验。

九 证据三 档案与随机性为何值得单独研究

作者把每种算法在 16 个设置中与另外六种算法进行两两检验,因此每种算法共有 96 个胜、平或负的比较结果。原始发表版与修正版的汇总如下。

算法 原始发表版 胜/平/负 修正版 胜/平/负 修正后的含义
Random Search 8/2/86 7/0/89 仍是最低基线,但在个别大规模小预算设置下可超过系统局部搜索
PLS 37/12/47 28/15/53 小规模、时间充分时有优势,巨大邻域下容易受预算限制
Anytime PLS 38/13/45 29/15/52 小预算下通常比原始 PLS 更稳,但仍受系统邻域探索成本影响
SEMO 85/7/4 72/12/12 综合记录仍然最好,原始领先幅度被明显放大
NSGA-II 55/13/28 56/20/20 修正后进入更稳定的领先群体
SMS-EMOA 41/9/46 41/13/42 胜场数变化不大,平局增多
MOEA/D 40/8/48 59/13/24 受修正影响最大,从负多于胜变为明显胜多于负

这张汇总表不能代替逐问题分析。不同问题的 HV 数值不可直接相加,胜平负也没有反映领先幅度。但它能够帮助我们识别三个稳定事实。

第一,主流 MOEA 并不弱于局部搜索。修正后,MOEA/D 和 NSGA-II 分别取得 59 胜与 56 胜,明显高于 PLS 和 Anytime PLS。尤其在固定评价次数与大规模问题上,系统扫描往往来不及让足够多的档案解获得搜索机会。

第二,PLS 的优势依赖邻域规模和可用时间。背包与 QAP 的小规模一小时设置都显示,时间充分时,系统搜索可以进入领先组;问题放大后,彻底扫描会迅速转化为预算负担。

第三,SEMO 的 72 胜 12 平 12 负仍然是最佳综合记录。作者给出两条可能解释:无界档案不仅保存结果,还直接作为产生新解的父代池;随机机制使搜索不那么贪婪,可能帮助搜索跳出局部最优。从计算过程看,每次抽取一个邻居也避免把整段预算绑定在单个巨大邻域上。

不过,GECCO 2024 的实验没有分别消融“档案是否参与父代选择”“种群是否有界”“系统或随机邻域采样”等因素。SEMO 的表现为这些机制提供了有力线索,但不能单独证明其中某一个机制就是全部优势的原因。

十 从经验现象到 2024 至 2026 年的前沿进展

GECCO 2024 的实验把问题从“MOEA 还是局部搜索”推进到三个更具体的机制问题:随机采样为何可能快于系统扫描,档案能否成为主动搜索记忆,固定邻域是否足以跨越局部障碍。后续研究开始分别回答这些问题。

随机邻域采样开始获得理论解释

梁子民与李密青在 AAAI 2026 发表 Random is Faster than Systematic in Multi-Objective Local Search。这项工作直接比较系统 PLS 与随机化 PLS,同时考察完整扫描和找到可接受解即停止的首次改进策略。实验显示,随机采样在多类多目标问题上持续更快。

作者进一步把“随机为什么快”归结到好邻居在档案解及其邻域中的分布,并在该经验分布假设下分析找到一个可改善档案的新解所需的时间。它为 GECCO 2024 中 SEMO 相对 PLS 的优势提供了更直接的理论解释。该分析关注的是找到可接受新解的速度,并不保证算法最终得到真实 Pareto 前沿。

档案从结果容器转向主动搜索记忆

IJCAI 2024 的 An Archive Can Bring Provable Speed-ups in Multi-Objective Evolutionary Algorithms 证明,在 OneMinMax 与 LeadingOnesTrailingZeroes 上,为 NSGA-II 和 SMS-EMOA 配置档案,可以在期望运行时间上获得多项式加速,并允许种群规模缩小到常数级。这个结论严格建立在特定理论问题上,不能直接替代实际组合优化实验,但它说明档案不只是输出管理工具。

AAAI 2026 的 Not Just for Archiving 进一步区分“保存档案”和“复用档案”。作者证明,在 SMS-EMOA 求解 OneJumpZeroJump 及其变体时,让档案解重新参与新解生成,可以克服小种群删除潜力解的问题,并获得至少多项式级的期望运行时间加速。论文还在背包、TSP、QAP 与 NK-landscape 上比较大种群、仅存档和档案复用三种方式;档案复用在全部实例上取得最高平均 HV,并在多数组合中达到显著提升。

这条研究线与 SEMO 直接呼应。SEMO 的档案同时承担保存和产生新解两种功能,实验中观察到的稳定性因而不再只是算法个例,而成为可以被单独分析和迁移的设计原则。

固定邻域正在走向可变步长

随机采样能够避免完整扫描,却仍可能受固定邻域限制。一位翻转或一次交换过小,搜索可能跨不过局部障碍;步长过大,又会破坏已有结构。

2026 年预印本 Variable Search Stepsize for Randomized Local Search in Multi-Objective Combinatorial Optimization 提出 VS-RLS。它在每次搜索中从小步长开始,如果没有找到可被档案接受的解,就逐步扩大步长;每个步长只进行有限采样,避免完整枚举随步长指数膨胀的邻域。作者在背包、TSP、QAP 和 NK-landscape 等问题上验证了这一方法。

这些进展说明,当前前沿已经不再满足于比较两个算法标签,而是在拆解并重组四个基本组件:档案、父代选择、邻域采样和搜索步长。理论分析提出机制条件,实验判断这些条件在实际问题上是否成立,两者形成了清晰的研究闭环。

十一 这项工作的意义与边界

这项工作的首要意义,是把算法选择从“默认使用熟悉方法”转向“先分析搜索结构”。一个多目标问题采用二进制还是排列表示,一次局部操作改变什么,一个邻域包含多少候选,目标评价是否昂贵,都会改变合适的搜索机制。

预算本身也是问题定义的一部分。固定评价次数衡量每次昂贵评价的利用效率,固定时间同时包含算法实现与数据结构开销。两者回答不同问题,应当并列报告。

公开更正则提供了另一层方法论价值。原始结果中的异常优势促使作者检查实现,位变异被关闭这一错误最终改变了二进制问题上的比较结论。修正后的结果削弱了“SEMO 全面领先”的叙事,却增强了更可靠的条件化结论。

这些结论仍有清楚的适用边界。

  • 实验只考察双目标问题。目标数增加后,支配关系、HV 计算和档案规模都会变化。

  • 每类问题只有两个规模和特定的随机实例生成方式,不能覆盖所有现实数据分布与约束结构。

  • 比较对象主要是经典基线,没有覆盖针对背包、TSP 或 QAP 高度定制的现代求解器与混合算法。

  • 无界档案适合研究搜索行为并公平记录历史解,但在大规模系统中会增加存储和支配比较开销。

  • 一小时结果依赖 Java 实现、jMetal 数据结构、处理器和代码优化,不能脱离实验平台直接外推。

  • 四类问题同时改变目标函数、表示、算子与邻域,能够揭示关联和条件差异,但不能严格识别某一个景观因素的独立因果效应。

十二 对多目标组合优化研究的直接启发

对于路径规划、调度、选址、装载或软件配置问题,这篇论文给出了五条可操作的研究建议。

  1. 先描述搜索空间,再选择算法。 明确解的表示、局部操作的语义、邻域规模和变量交互,不要从熟悉某个 MOEA 倒推算法选择。

  2. 把预算作为实验变量。 同时报告评价次数和墙钟时间。若目标函数来自仿真或真实系统,还应说明一次评价的成本与并行方式。

  3. 区分被动存档与主动复用。 除了保存最终非支配解,还可以研究怎样从档案选择父代、怎样控制档案规模,以及怎样让被有限种群淘汰的潜力解重新参与搜索。

  4. 让邻域深度匹配剩余预算。 对近似二次或更快增长的邻域,随机采样、分层邻域、可变步长和基于反馈的邻域调度通常比一次性穷举更值得研究。

  5. 设计机制互补的混合算法。 种群可以提供多起点与全局覆盖,局部搜索可以利用问题结构进行精细改进。有效的混合需要明确何时切换、从哪里启动局部搜索以及怎样共享档案。

十三 结语

这篇论文把问题从“哪个算法更强”推进到“不同搜索机制怎样花费有限预算”。

PLS 把一个邻域检查得更完整,因此在小规模、时间充分时具有竞争力;主流 MOEA 把预算分散到种群和多个搜索方向,在评价次数严格受限或邻域庞大时更容易建立优势;SEMO 利用无界档案保存并复用历史解,同时以随机邻域采样避免系统扫描的高成本。

实验为这些机制提供了条件化证据,后续理论工作又解释了随机采样和档案复用为何可能加速搜索。反过来,位变异错误及其修正也提醒我们:理论解释必须受实现细节和新数据约束,不能为了维持一个漂亮结论而忽略与结论冲突的证据。

修正后最可靠的结论是:MOEA 与局部搜索各有适用区间,SEMO 所代表的主动档案与随机邻域搜索值得重视,而真正可信的算法选择必须同时考虑表示、邻域、搜索记忆和预算。

参考资料与延伸阅读

1)Li, M., Han, X., Chu, X., & Liang, Z. (2024). Empirical Comparison between MOEAs and Local Search on Multi-Objective Combinatorial Optimisation Problems. GECCO 2024, 547–556. DOI: 10.1145/3638529.3654077

2)作者代码、数据、更正说明与修正版论文:MOEAs vs Local Search

3)Bian, C., Ren, S., Li, M., & Qian, C. (2024). An Archive Can Bring Provable Speed-ups in Multi-Objective Evolutionary Algorithms. IJCAI 2024, 6905–6913. DOI: 10.24963/ijcai.2024/763

4)Liang, Z., & Li, M. (2026). Random is Faster than Systematic in Multi-Objective Local Search. AAAI 2026, 37072–37080. DOI: 10.1609/aaai.v40i43.41036

5)Ren, S., Liang, Z., Li, M., & Qian, C. (2026). Not Just for Archiving: Provable Benefits of Reusing the Archive in Evolutionary Multi-objective Optimization. AAAI 2026, 37152–37160. DOI: 10.1609/aaai.v40i43.41045

6)Ren, X., Wang, M., Dai, G., Liang, Z., Liu, Q., Yang, S., & Li, M. (2026). Variable Search Stepsize for Randomized Local Search in Multi-Objective Combinatorial Optimization. arXiv:2602.05675v2. 论文页面

本文图 1 至图 4 分别取自原论文 Figure 1 至 Figure 4;背包与 NK-landscape 使用作者仓库发布的修正版。原论文采用 Creative Commons Attribution 4.0 License,转载时应保留作者、论文与来源信息。

posted @ 2026-09-12 07:36  WUST许志伟  阅读(11)  评论(0)    收藏  举报