摘要：$k$​​​​ 近邻法（$k-nearest\ neighbor,\ k-NN$​​​​​​​）即可用于分类，也可用于回归。 $KNN$​ 做分类还是回归区别在预测时的决策方式。做分类时，用多数表决法；做回归时，用平均法。 sklearn-learn 中只使用了 蛮力实现（$brute-force$ 阅读全文

摘要：Python proprety() 高级 property()：返回新式类属性。 class property ( [fget [, fset [, fdel [, doc] ] ] ] ) fget：获取属性值 fset：设置属性值 fdel：删除属性值 doc：属性描述信息 实例： class 阅读全文

摘要：拉格朗日法、KKT条件 拉格朗日对偶性（\(Lagrange\ \ duality\)）将原始问题转换为对偶问题。例如：最大熵模型、支持向量机。 一、原始问题 假设目标函数$f(x)$、不等式约束 \(c_i(x)\)、等式约束 \(h_j(x)\) 是定义在 \(\pmb{R}^n\)（\(n\) 阅读全文

摘要：拉格朗日对偶性 求解最优化问题中，拉格朗日乘子法和 \(KKT\) 条件是两种常用的方法。在有等式约束时使用拉格朗日乘子法，不等式约束时使用 \(KKT\) 条件。这里的最优化问题通常指函数在作用域上的全局最小值（最小值与最大值可以互换）。 最优化问题常见三种情况： 一、无约束条件 求导等于0得到极 阅读全文

摘要：1. 线性回归的模型函数和损失函数 对于m个样本，n维特征， 如果y是连续的，则是回归问题，否则是分类问题。 它的线性回归模型是： θi (i = 1,2...n)是参数，xi (i = 1,2...n)是每个样本的n个特征。 这里增加一个特征 x0 = 1，得到 矩阵形式的线性回归模型：hθ(x) 阅读全文

摘要：求解机器学习算法的模型参数，即无约束优化问题，常用两种方法：梯度下降，最小二乘法。此外还有牛顿法和拟牛顿法。 1. 梯度 对多元函数参数求偏导，把求得的偏导写成向量形式。比如：f(x,y)对x，y求偏导，梯度就是(∂f/∂x, ∂f/∂y)T。 2. 梯度下降法详解 梯度下降法有代数法和矩阵法两种表 阅读全文