2024/6/10

Fletcher-Reeves (FR) 变种的共轭梯度法是一种常用的无约束优化算法，用于求解具有连续可微目标函数的最小值问题。以下是FR共轭梯度法的基本算法步骤：

初始化

1. 选择初始点：选取一个初始估计点 𝑥0∈𝑅𝑛x0​∈Rn。
2. 计算初始梯度：计算在初始点的梯度 𝑔0=∇𝑓(𝑥0)g0​=∇f(x0​)。
3. 设置初始搜索方向：令初始搜索方向为负梯度方向，即 𝑑0=−𝑔0d0​=−g0​。

迭代过程

对于 𝑘=0,1,2,...k=0,1,2,...，直到满足某个终止条件：

1. 计算步长：计算使目标函数 𝑓(𝑥𝑘+𝛼𝑘𝑑𝑘)f(xk​+αk​dk​) 下降最多的步长 𝛼𝑘αk​。FR方法中步长 𝛼𝑘αk​ 通过下面公式计算：

   𝛼𝑘=𝑔𝑘𝑇𝑔𝑘𝑑𝑘𝑇𝐴𝑑𝑘αk​=dkT​Adk​gkT​gk​​

   其中 𝐴A 是目标函数的Hessian矩阵的近似，对于大多数无约束问题，默认为 𝐴=𝐼A=I（单位矩阵），简化为 𝛼𝑘=𝑔𝑘𝑇𝑔𝑘𝑑𝑘𝑇𝑑𝑘αk​=dkT​dk​gkT​gk​​。

2. 更新点：根据步长 𝛼𝑘αk​ 更新搜索点：

   𝑥𝑘+1=𝑥𝑘+𝛼𝑘𝑑𝑘xk+1​=xk​+αk​dk​

3. 计算新梯度：在新点计算梯度：

   𝑔𝑘+1=∇𝑓(𝑥𝑘+1)gk+1​=∇f(xk+1​)

4. 判断是否停止：检查是否达到终止条件，如梯度的范数小于某一阈值 ∥∇𝑓(𝑥𝑘+1)∥2<𝜖∥∇f(xk+1​)∥2​<ϵ 或者函数值的变化小于某一阈值。

5. 更新搜索方向：如果未达到终止条件，则根据Fletcher-Reeves公式更新搜索方向：

   𝑑𝑘+1=−𝑔𝑘+1+𝛽𝑘𝑑𝑘dk+1​=−gk+1​+βk​dk​

   其中 𝛽𝑘βk​ 由下式给出：

   𝛽𝑘=𝑔𝑘+1𝑇𝑔𝑘+1𝑔𝑘𝑇𝑔𝑘βk​=gkT​gk​gk+1T​gk+1​​

6. 继续迭代：如果未满足停止条件，返回步骤1继续迭代。

终止

当满足预设的终止准则时，停止迭代，并认为 𝑥𝑘+1xk+1​ 是函数 𝑓(𝑥)f(x) 的一个局部最小值点。

通过以上步骤，FR共轭梯度法能够高效地寻找函数的最小值点，尤其在处理大规模稀疏问题时表现出较好的性能。

Fletcher-Reeves (FR) 变种的共轭梯度法是一种常用的无约束优化算法，用于求解具有连续可微目标函数的最小值问题。以下是FR共轭梯度法的基本算法步骤：

初始化

1. 选择初始点：选取一个初始估计点 𝑥0∈𝑅𝑛x0​∈Rn。
2. 计算初始梯度：计算在初始点的梯度 𝑔0=∇𝑓(𝑥0)g0​=∇f(x0​)。
3. 设置初始搜索方向：令初始搜索方向为负梯度方向，即 𝑑0=−𝑔0d0​=−g0​。

迭代过程

对于 𝑘=0,1,2,...k=0,1,2,...，直到满足某个终止条件：

1. 计算步长：计算使目标函数 𝑓(𝑥𝑘+𝛼𝑘𝑑𝑘)f(xk​+αk​dk​) 下降最多的步长 𝛼𝑘αk​。FR方法中步长 𝛼𝑘αk​ 通过下面公式计算：

   𝛼𝑘=𝑔𝑘𝑇𝑔𝑘𝑑𝑘𝑇𝐴𝑑𝑘αk​=dkT​Adk​gkT​gk​​

   其中 𝐴A 是目标函数的Hessian矩阵的近似，对于大多数无约束问题，默认为 𝐴=𝐼A=I（单位矩阵），简化为 𝛼𝑘=𝑔𝑘𝑇𝑔𝑘𝑑𝑘𝑇𝑑𝑘αk​=dkT​dk​gkT​gk​​。

2. 更新点：根据步长 𝛼𝑘αk​ 更新搜索点：

   𝑥𝑘+1=𝑥𝑘+𝛼𝑘𝑑𝑘xk+1​=xk​+αk​dk​

3. 计算新梯度：在新点计算梯度：

   𝑔𝑘+1=∇𝑓(𝑥𝑘+1)gk+1​=∇f(xk+1​)

4. 判断是否停止：检查是否达到终止条件，如梯度的范数小于某一阈值 ∥∇𝑓(𝑥𝑘+1)∥2<𝜖∥∇f(xk+1​)∥2​<ϵ 或者函数值的变化小于某一阈值。

5. 更新搜索方向：如果未达到终止条件，则根据Fletcher-Reeves公式更新搜索方向：

   𝑑𝑘+1=−𝑔𝑘+1+𝛽𝑘𝑑𝑘dk+1​=−gk+1​+βk​dk​

   其中 𝛽𝑘βk​ 由下式给出：

   𝛽𝑘=𝑔𝑘+1𝑇𝑔𝑘+1𝑔𝑘𝑇𝑔𝑘βk​=gkT​gk​gk+1T​gk+1​​

6. 继续迭代：如果未满足停止条件，返回步骤1继续迭代。

终止

当满足预设的终止准则时，停止迭代，并认为 𝑥𝑘+1xk+1​ 是函数 𝑓(𝑥)f(x) 的一个局部最小值点。

通过以上步骤，FR共轭梯度法能够高效地寻找函数的最小值点，尤其在处理大规模稀疏问题时表现出较好的性能。

Fletcher-Reeves (FR) 变种的共轭梯度法是一种常用的无约束优化算法，用于求解具有连续可微目标函数的最小值问题。以下是FR共轭梯度法的基本算法步骤：

初始化

1. 选择初始点：选取一个初始估计点 𝑥0∈𝑅𝑛x0​∈Rn。
2. 计算初始梯度：计算在初始点的梯度 𝑔0=∇𝑓(𝑥0)g0​=∇f(x0​)。
3. 设置初始搜索方向：令初始搜索方向为负梯度方向，即 𝑑0=−𝑔0d0​=−g0​。

迭代过程

对于 𝑘=0,1,2,...k=0,1,2,...，直到满足某个终止条件：

1. 计算步长：计算使目标函数 𝑓(𝑥𝑘+𝛼𝑘𝑑𝑘)f(xk​+αk​dk​) 下降最多的步长 𝛼𝑘αk​。FR方法中步长 𝛼𝑘αk​ 通过下面公式计算：

   𝛼𝑘=𝑔𝑘𝑇𝑔𝑘𝑑𝑘𝑇𝐴𝑑𝑘αk​=dkT​Adk​gkT​gk​​

   其中 𝐴A 是目标函数的Hessian矩阵的近似，对于大多数无约束问题，默认为 𝐴=𝐼A=I（单位矩阵），简化为 𝛼𝑘=𝑔𝑘𝑇𝑔𝑘𝑑𝑘𝑇𝑑𝑘αk​=dkT​dk​gkT​gk​​。

2. 更新点：根据步长 𝛼𝑘αk​ 更新搜索点：

   𝑥𝑘+1=𝑥𝑘+𝛼𝑘𝑑𝑘xk+1​=xk​+αk​dk​

3. 计算新梯度：在新点计算梯度：

   𝑔𝑘+1=∇𝑓(𝑥𝑘+1)gk+1​=∇f(xk+1​)

4. 判断是否停止：检查是否达到终止条件，如梯度的范数小于某一阈值 ∥∇𝑓(𝑥𝑘+1)∥2<𝜖∥∇f(xk+1​)∥2​<ϵ 或者函数值的变化小于某一阈值。

5. 更新搜索方向：如果未达到终止条件，则根据Fletcher-Reeves公式更新搜索方向：

   𝑑𝑘+1=−𝑔𝑘+1+𝛽𝑘𝑑𝑘dk+1​=−gk+1​+βk​dk​

   其中 𝛽𝑘βk​ 由下式给出：

   𝛽𝑘=𝑔𝑘+1𝑇𝑔𝑘+1𝑔𝑘𝑇𝑔𝑘βk​=gkT​gk​gk+1T​gk+1​​

6. 继续迭代：如果未满足停止条件，返回步骤1继续迭代。

终止

当满足预设的终止准则时，停止迭代，并认为 𝑥𝑘+1xk+1​ 是函数 𝑓(𝑥)f(x) 的一个局部最小值点。

通过以上步骤，FR共轭梯度法能够高效地寻找函数的最小值点，尤其在处理大规模稀疏问题时表现出较好的性能。