宏斌PKUCIS

摘要： 多维优化问题的迭代求解算法中，经常遇到学习率（步长）参数问题。学习率大小对算法的影响有收敛性和收敛速度两个方面，收敛性放在具体的多维优化问题中讨论，这里讨论收敛速度问题，即每步迭代中最优学习率的选定问题。 1、一般多维优化问题中的迭代算法中的迭代公式为： x(k+1)=x(k)+αk d(k) 其中 阅读全文

摘要： 前面介绍的黄金分割法、斐波那契数列法、二分法、牛顿法、割线法寻找极小点方法的前提是： 给定初始区间，它包含一个单峰的f(x)。 如何寻找这个初始区间？ 划界法：（挑选一个含有极小点的区间） 随机挑选3个点x1、x2、x3, 如果 f(x2)<f(x1) 且 f(x2)<f(x3) ，那么 [x1, 阅读全文

摘要： 1、二分法（一阶导） 二分法是利用目标函数的一阶导数来连续压缩区间的方法，因此这里除了要求 f 在 [a0,b0] 为单峰函数外，还要去 f(x) 连续可微。 （1）确定初始区间的中点 x(0)=(a0+b0)/2 。然后计算 f(x) 在 x(0) 处的一阶导数 f'(x(0))， 如果 f'(x 阅读全文

摘要： 目标函数为一元单值函数f：R->R的最小化优化问题，一般不会单独遇到，它通常作为多维优化问题中的一个部分出现，例如梯度下降法中每次最优迭代步长的估计。 一维搜索方法是通过迭代方式求解的，这不同于我们人脑的直接通过解表达式求解方法。迭代算法是从初始搜索点x(0)出发，产生一个迭代序列x(1),x(2) 阅读全文