jj千寻 - 博客园

摘要： 1.背景其它类型如极大化所有目标可以转换成上面类型。 2.帕累托解帕累托点：在所有函数上，没有其它解在比他更优（没有点支配它）。帕累托前沿：帕累托点组成的集合面。3.帕累托前沿求解帕累托解并不是一个，整个前沿面都... 阅读全文

posted @ 2019-02-19 09:38 jj千寻阅读(222) 评论(0) 推荐(0)

摘要：目录1.简介2.数学背景3.推导4.联合概率5.求参、极大似然 6.参数求解：7.牛顿法、拟牛顿法、梯度下降法等求参：牛顿法：梯度下降法8.完整流程9.正则化10.多元逻辑回归11.scikit-learn中逻... 阅读全文

posted @ 2019-02-19 09:37 jj千寻阅读(481) 评论(0) 推荐(0)

摘要： 1. 简单线性回归只有一个未知数x，两个参数的，称为简单线性回归，一条直线。此时不需要线性代数概念，直接迭代求解，形如：1.1 表示形式1.2 定义损失1.3 求参，极大似然2.多元线性回归2.1形式2.2误差2... 阅读全文

posted @ 2019-02-19 09:37 jj千寻阅读(350) 评论(0) 推荐(0)

摘要： 1.最小二乘分析1.1最小向量求解1）几何分析：2）求导2.递推最小二乘法对不断加入的新的数据，更新参数。某个问题是寻找合适的x让最小，用前面的可以求得x*。如果增加了新的数据，用A1和b1表示，那么现在整个问题... 阅读全文

posted @ 2019-02-18 10:43 jj千寻阅读(225) 评论(0) 推荐(0)

摘要： 1.基本思想1.1基本缺陷需要计算黑塞矩阵，需要求矩阵的逆运算1.2拟牛顿法思想构造黑塞矩阵的逆的近似：拟牛顿法中，如果找到合适的近似构造矩阵Hk，在迭代中就不需要任何黑塞矩阵，及线性方程逆运算的计算工作了。1.... 阅读全文

posted @ 2019-02-18 10:26 jj千寻阅读(175) 评论(0) 推荐(0)

摘要： 1.共轭方向法效率位于最速下降和牛顿法之间，优点：1.1共轭：关于对称实矩阵Q共轭关于对称正定矩阵Q共轭1.2基本共轭方向算法流程：n步之内收敛到全局极小点，证明：10.11.3共轭方向的迭代，每次ak都是最佳步... 阅读全文

posted @ 2019-02-18 10:22 jj千寻阅读(652) 评论(0) 推荐(0)

摘要：牛顿法用到了目标函数的1、2阶导数，可能会更高效。1.思想：构造目标函数的近似函数：1.2泰勒展开到二阶，可以得到函数f(x)的近似函数：1.3对近似函数q(x)求极小值，得到迭代形式：1.4流程：2.二次型中牛... 阅读全文

posted @ 2019-02-18 10:12 jj千寻阅读(186) 评论(0) 推荐(0)

摘要： 1.梯度迭代a>0时，负梯度方向，是函数值下降方向1.1梯度下降法当接近极小值时，梯度接近0，通用形式如下，有一些具体实现：1）最速下降法梯度下降的一种具体实现，理念是在每次迭代时，选择最佳合适的步长ak,使得目... 阅读全文

posted @ 2019-02-18 10:08 jj千寻阅读(268) 评论(0) 推荐(0)

摘要：讨论的是函数为一元的单值函数1.黄金分割法期望按照比例压缩查找区间，逼近极小点：按照这类比例压缩，不断取值比较左右点大小，缩小区间范围，直到逼近。2.斐波那契数列：和黄金分割类似，只是比例按照斐波那契数列的规则... 阅读全文

posted @ 2019-02-18 10:02 jj千寻阅读(281) 评论(0) 推荐(0)

摘要： 1.无约束形式f(x)为价值/目标函数1.1极小点2.局部极小点条件2.1可行方向2.2可行方向上的导数：2.3可行方向上的增长率/方向导数2.4一阶必要条件1）在约束集上：方向导数>=02）在约束集内：梯度=0... 阅读全文

posted @ 2019-02-18 09:44 jj千寻阅读(240) 评论(0) 推荐(0)

425776024