做梦当财神

摘要： $k$​​​​ 近邻法（$k-nearest\ neighbor,\ k-NN$​​​​​​​）即可用于分类，也可用于回归。 $KNN$​ 做分类还是回归区别在预测时的决策方式。做分类时，用多数表决法；做回归时，用平均法。 sklearn-learn 中只使用了 蛮力实现（$brute-force$ 阅读全文

摘要： Python proprety() 高级 property()：返回新式类属性。 class property ( [fget [, fset [, fdel [, doc] ] ] ] ) fget：获取属性值 fset：设置属性值 fdel：删除属性值 doc：属性描述信息 实例： class 阅读全文

摘要： 拉格朗日法、KKT条件 拉格朗日对偶性（\(Lagrange\ \ duality\)）将原始问题转换为对偶问题。例如：最大熵模型、支持向量机。 一、原始问题 假设目标函数$f(x)$、不等式约束 \(c_i(x)\)、等式约束 \(h_j(x)\) 是定义在 \(\pmb{R}^n\)（\(n\) 阅读全文

摘要： 拉格朗日对偶性 求解最优化问题中，拉格朗日乘子法和 \(KKT\) 条件是两种常用的方法。在有等式约束时使用拉格朗日乘子法，不等式约束时使用 \(KKT\) 条件。这里的最优化问题通常指函数在作用域上的全局最小值（最小值与最大值可以互换）。 最优化问题常见三种情况： 一、无约束条件 求导等于0得到极 阅读全文

摘要： 1. 线性回归的模型函数和损失函数 对于m个样本，n维特征， 如果y是连续的，则是回归问题，否则是分类问题。 它的线性回归模型是： θi (i = 1,2...n)是参数，xi (i = 1,2...n)是每个样本的n个特征。 这里增加一个特征 x0 = 1，得到 矩阵形式的线性回归模型：hθ(x) 阅读全文

摘要： 求解机器学习算法的模型参数，即无约束优化问题，常用两种方法：梯度下降，最小二乘法。此外还有牛顿法和拟牛顿法。 1. 梯度 对多元函数参数求偏导，把求得的偏导写成向量形式。比如：f(x,y)对x，y求偏导，梯度就是(∂f/∂x, ∂f/∂y)T。 2. 梯度下降法详解 梯度下降法有代数法和矩阵法两种表 阅读全文

摘要： 将数组打乱随机排列 两种方法： np.random.shuffle(x)：在原数组上进行，改变自身序列，无返回值。 np.random.permutation(x)：不在原数组上进行，返回新的数组，不改变自身数组。 1. np.random.shuffle(x) (1)、一维数组 import nu 阅读全文

摘要： Pandas包的merge、join、concat方法可以完成数据的合并和拼接，merge方法主要基于两个dataframe的共同列进行合并，join方法主要基于两个dataframe的索引进行合并，concat方法是对series或dataframe进行行拼接或列拼接。 1. Merge方法 pa 阅读全文

摘要： 决策树-ID3、C4.5 决策树-CART分类树 决策树-CART回归树 决策树的剪枝通过极小化决策树整体的损失函数。(决策树的生成只考虑局部最优，决策树的剪枝考虑全局最优)。 设 \(t\) 是树 \(T\) 的叶节点，个数为 \(|T|\)，该叶节点有 \(N_t\) 个样本点，其中 \(k\) 阅读全文

摘要： 最大熵模型与逻辑回归类似，是对数线性分类模型。在损失函数优化过程中，使用和支持向量机类似的凸优化技术。对熵的使用，会想起决策树ID3和C4.5。 1. 最大熵模型的定义 将最大熵原理应用到分类得到最大熵模型。 用最大熵模型选择一个最好的分类模型。训练集，其中x为n维特征向量，y为类别输出。 训练集总 阅读全文