摘要： NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 官方文档地址：https://numpy.org/doc/stable/index.html。 下面简述一些 Numpy 库常用方法和属性。 阅读全文

摘要： 在机器学习和统计领域，线性回归模型是最简单的模型之一。 在现实生活中，往往需要分析若干变量之间的关系，如碳排放量与气候变暖之间的关系、某一商品广告投入量与该商品销售量之间的关系等。 回归分析：分析不同变量之间存在关系的研究。 回归模型：刻画不同变量之间关系的模型。如果这个模型是线性的，则称为线性回归 阅读全文

摘要： 设两个向量 $x,y$ 分别为 $$x = (x_{1},x_{2},\cdots, x_{m})^{T}$$ $$y = (y_{1},y_{2},\cdots, y_{n})^{T}$$ 虽然是多变量对多变量求偏导，但最终都是归结于一个单变量对另一个单变量求偏导，只是函数和自变量都写成了向量形式 阅读全文

摘要： 标量 $y$ 对 $n$ 维列向量 $x = (x_{1},x_{2},\cdots,x_{n})^{T}$ 求导，其结果还是一个 $n$ 维列向量： $$\frac{d y}{d x} = \begin{bmatrix}\frac{\partial y}{\partial x_{1}} \\ \f 阅读全文

摘要： 阅读本文之前，可先阅读博客。 1. 原始问题 假设 $f(x),g_{i}(x),c_{j}(x)$ 是定义在 $R^{n}$ 上的连续可微函数，考虑约束最优化问题： $$\min_{x} \; f(x) \\s.t. \;\;\; g_{i}(x) \leq 0, \;\;\; i = 1,2,\ 阅读全文

摘要： 阅读本篇之前，可先阅读一下梯度下降法。下面介绍一下牛顿法的基本思路。记原始的函数为 $F(x)$，它对应的二阶泰勒展开式为 $f(x)$ 将目标函数 $F(x)$ 进行二阶泰勒展开(如果不了解这个可先阅读博客)得： $$f(x) = f(x_{0}) + \nabla f(x_{0})^{T}(x 阅读全文

摘要： 在求解最优化问题中，拉格朗日乘子法和 KKT 条件是两种最常用的方法。在有等式约束时使用拉格朗日乘子法，在有不等约束时使用 KKT 条件。 1 无约束条件 这是最简单的情况，解决方法通常是函数对变量求导，令求导函数等于 $0$ 的点可能是极值点。将结果带回原函数进行验证即可。 2 等式约束条件(拉格 阅读全文

摘要： 海森矩阵：是一个多元函数的二阶偏导数构成的方阵。 1. 二元函数的海森矩阵 如果不理解二元函数的泰勒展开可先阅读博客。 $$f(x_{0} + h,y_{0} + k) = f(x_{0},y_{0}) + \frac{h\cdot \frac{\partial }{\partial x} + k\ 阅读全文

摘要： 介绍对称性之前首先介绍下抽象函数 $f(x)$，这个含义是：将映射关系 $f$ 作用于括号内的东西，这里就是 $x$。 强调一下，$f$ 作用的对象是括号内的全体，所以不管括号内的式子长什么样子，需要整体看待。 一个映射关系 $f$ 就对应一个自变量为 $x$ 的函数图像，作用的结果就是函数值。 举 阅读全文

摘要： 做 KMP 算法首先需要计算一个叫做前缀表的东西。 如上图所示，前缀表里面记录的是最长相等的前后缀长度。 当 b 发生不匹配时，由于前缀表对应的数字是 1，即将数组 P 向右拖到索引为 1 的位置，如上右图。 发现还是匹配不上，继续看前缀表，这时的位置是 0，于是再拖动数组 P，如下作图所示。当不匹 阅读全文