随笔分类 -  数据科学数学基础

优化问题
摘要：下确界：最大下界 凸优化：目标函数和可行集、约束条件都是凸的 只含等式约束问题 等价的凸问题 1）消除等式约束 利用广义逆总是能写出Ax=b的解 2）引入等式约束 3）引入松弛变量 将不等式约束转化为等式约束 常见的优化问题 1）线性规划：目标函数和约束函数都是仿射 可行集是多面体（超平面切掉一部分 阅读全文
posted @ 2020-06-23 14:49 柠檬味呀 阅读(481) 评论(0) 推荐(0)
数据科学中常用的矩阵(邻接矩阵 关联矩阵 关联矩阵的四个基本子空间 低秩矩阵)
摘要：邻接矩阵 关联矩阵 邻接矩阵与度矩阵的关系 关联矩阵的四个基本子空间 左零空间为span{1}是因为只有把所有行都加起来这样的行向量组合才能得到0 列空间为什么为m-1?理由简单描述如下 比如我们考虑只有三个点，两两相连的环路 其关联矩阵为 列空间就是2维 对于任意有这种环的情况都可以去掉一条边，新 阅读全文
posted @ 2020-05-21 22:11 柠檬味呀 阅读(1551) 评论(0) 推荐(0)
左逆 右逆 伪逆
摘要：x在行空间 y在行空间 (x-y)也在行空间 而(x-y)又在零空间 故x-y=0 阅读全文
posted @ 2020-05-20 21:11 柠檬味呀 阅读(293) 评论(0) 推荐(0)
分解合集（LU分解/谱分解(特征分解)/cholesky分解/QR分解/奇异值分解
摘要：LU分解 将一个矩阵分解为一个单位下三角矩阵和一个上三角矩阵的乘积 利用高斯消去法将矩阵化为上三角形矩阵U，消去过程中左乘初等矩阵 选主元的LU分解 对于A = LU，我们之前限制了行的互换，选主元的LU分解，只需要把A = LU变成 PA = LU就可以了，其中P是置换矩阵。实际上所有的A = L 阅读全文
posted @ 2020-05-20 14:22 柠檬味呀 阅读(2309) 评论(0) 推荐(1)
特征向量与特征值
摘要：一些向量在变换后仍保持在原先的直线上 变换后 经过如下图中矩阵的变换 所有x轴的向量 都被拉长为原来的两倍 所有与向量[-1 1]共线的向量都拉长为原来的两倍 找到变换中仍保持在原先直线上的向量 就是我们这里的特征向量 它们作为变换后的坐标轴 来自：https://www.youtube.com/w 阅读全文
posted @ 2020-05-20 14:08 柠檬味呀 阅读(205) 评论(0) 推荐(0)
矩阵求逆引理
摘要：首先必须记住的是可逆矩阵A+BCD的逆可以表示成A-1+X，其中X为未知矩阵 故有(A+BCD)(A-1+X)=E E+AX+BCDA-1+BCDX=E; (A+BCD)X+BCDA-1=0 X=-(A+BCD)-1BCDA-1 X=-[B(B-1A+CD)]-1BCDA-1 X=-(B-1A+CD 阅读全文
posted @ 2020-05-17 22:37 柠檬味呀 阅读(1571) 评论(0) 推荐(0)
householder矩阵行列式为-1 证明
摘要： 阅读全文
posted @ 2020-05-17 17:37 柠檬味呀 阅读(2698) 评论(0) 推荐(0)
正交投影
摘要：一维情形 将向量b投影到直线a上，投影为p,误差向量为e e=b-p 高维情形 向量b投影到a1,a2张成的平面 投影为p e为误差向量 投影点为Pb 投影坐标为这里的x 阅读全文
posted @ 2020-05-15 22:30 柠檬味呀 阅读(596) 评论(0) 推荐(0)
奇异值分解
摘要：A的奇异值是A^TA的特征值的平方根 奇异值分解的步骤 1）将矩阵A^TA对角化 求A^TA的特征值和对应的特征向量 2）求出V和的值 将A^TA的特征值按降序排列 3）构造U 更正 上式应该为V^T错写为V 对博文https://blog.csdn.net/zhongkejingwang/arti 阅读全文
posted @ 2020-05-15 11:32 柠檬味呀 阅读(1032) 评论(0) 推荐(0)
正交矩阵与gram-schmidt正交化及其QR分解
摘要：gram-schmidt正交化QR分解推导 正交矩阵是方阵 标准正交qi^T qj=0 当i不等于j 1 当i等于j 正交矩阵Q举例 阅读全文
posted @ 2020-05-14 16:50 柠檬味呀 阅读(2521) 评论(0) 推荐(0)
图
摘要： 阅读全文
posted @ 2020-05-14 14:04 柠檬味呀 阅读(143) 评论(0) 推荐(0)
四个基本子空间
摘要：列空间的basis是消元时的主列（pivot） 行空间的basis就是消元得到行最简形对应的非零行； 零空间的basis是自由列F 左零空间basis是对应矩阵左乘E行变换时得到行最简形对应的零行时E对应行。 空间的维数就是由这些主列/或者是自由列/行的数目确定的 而主列的个数就是矩阵的秩 什么是R 阅读全文
posted @ 2020-05-14 11:51 柠檬味呀 阅读(804) 评论(0) 推荐(0)
矩阵空间和秩1矩阵
摘要：​ ​M是所有5*17矩阵 一个由秩4组成的子集是一个子空间吗?通常不是子空间 一般来说rank(A+B)<=rank(A)+rank(B) 在R4中假设v=[v1,v2,v3,v4]^T S=all v in R4满足v1+v2+v3+v4=0 Av=0 S =null(A) A=[1 1 1 1 阅读全文
posted @ 2020-05-14 11:18 柠檬味呀 阅读(479) 评论(0) 推荐(0)