No Free Lunch Theorems for Optimization（没有免费午餐定理）

1997 No_free_lunch_theorems_for_optimization

1.黑箱优化算法：是一类用于解决目标函数或系统模型未知、难以解析或计算成本高昂的优化问题的算法。这类算法不依赖于目标函数的显式表达式，而是通过采样、迭代和反馈机制逐步逼近最优解。

两种流行的黑箱优化策略：进化算法、模拟退火

2.如何才能最好地将算法与问题相匹配？（即，我们怎样才能最好地减轻算法的黑盒性质，让他们利用与优化问题相关的一些知识）

解决该问题：①首先，研究在对所有优化问题集运行时，一种或多种算法的性能会受到那些先验限制。
②专注于某个特定问题，并考虑在所有算法上的运行效果。

3.没有免费午餐定理（NFL）：任何一对算法在所有可能问题上的平均性能都是相同的。这尤其意味着，如果某种算法在某些优化问题集上的性能优于另一种算法，那么在所有其他优化问题集上，情况必然相反。即使其中一种算法是随机的，情况也是如此；任何算法在所有优化问题集上的表现比随机的差，与它在所有优化问题集上的表现比随机的好一样容易。

几何解释：算法的平均性能取决于它与运行该算法的优化问题的基础概率分布的“对齐”程度。

4.主要观点：尽管存在多种优化算法，但在所有可能的输入上，没有任何算法能够在所有情况下都优于其他算法。这意味着在某些情况下，某些算法可能表现良好，而在其他情况下则表现不佳，从而导致没有一种“最佳”算法适用于所有问题。