机器学习-二次规划

1、概念解释

(1)什么是半正定矩阵?

  半正定矩阵是指一个方阵(即行数等于列数的矩阵),满足以下条件之一:

  1. 对于任意非零向量x,都有x^T * A * x ≥ 0,其中 A 表示该矩阵的转置。
  2. 所有特征值(eigenvalue)都大于或等于零。

  简单来说,一个半正定矩阵的特点是它的所有特征值非负,或者说它与单位矩阵相似(similar)。

(2)什么是凸二次优化?

  凸二次优化是指一个优化问题,其中目标函数是凸二次函数,约束条件也是一些凸函数。具体形式可以表示为:

  最小化 f(x) = (1/2) * x^T * P * x + q^T * x + r 满足 G * x ≤ h A * x = b

  其中,x 是优化变量,P 是一个对称正定矩阵,q 和 r 是向量,G 和 A 是矩阵,h 和 b 是向量。

  凸二次优化问题的特点在于目标函数和约束条件都是凸函数。凸函数具有良好的性质,例如局部最小值就是全局最小值,因此凸二次优化问题具有较好的求解性质。

(3)什么是非凸二次优化?

  非凸二次优化是指一个优化问题,其中目标函数是非凸二次函数,或者约束条件中存在非凸函数。具体形式可以表示为:

  最小化 f(x) = (1/2) * x^T * P * x + q^T * x + r 满足 G * x ≤ h A * x = b

  其中,x 是优化变量,P 是一个对称矩阵,q 和 r 是向量,G 和 A 是矩阵,h 和 b 是向量。

  与凸二次优化不同的是,非凸二次优化问题的目标函数或约束条件中至少存在一个非凸函数。非凸函数的特点是具有多个局部最小值,因此非凸二次优化问题的求解更加困难。由于问题的非凸性质,不存在通用的求解方法能够保证全局最优解的获取。因此,求解非凸二次优化问题通常需要使用启发式算法、近似算法或者局部搜索等方法。

(4)什么是正定矩阵?

  正定矩阵是指一个对称矩阵,满足以下条件:

  1. 所有的特征值(eigenvalue)都大于零。
  2. 对于任意非零向量x,都有x^T * A * x > 0,其中 A 表示该矩阵的转置。

  正定矩阵具有一些重要的性质:

  • 它的所有主子阵(submatrix)的特征值都大于零。
  • 它可以唯一地进行 Cholesky 分解,即将其分解为一个下三角矩阵和其转置的乘积。
  • 它的逆矩阵也是正定矩阵。

2、基本演算

posted @ 2024-01-10 21:05  宜家数据小哥  阅读(11)  评论(0编辑  收藏  举报