做梦当财神

摘要： 拉格朗日法、KKT条件 拉格朗日对偶性（\(Lagrange\ \ duality\)）将原始问题转换为对偶问题。例如：最大熵模型、支持向量机。 一、原始问题 假设目标函数$f(x)$、不等式约束 \(c_i(x)\)、等式约束 \(h_j(x)\) 是定义在 \(\pmb{R}^n\)（\(n\) 阅读全文

摘要： 拉格朗日对偶性 求解最优化问题中，拉格朗日乘子法和 \(KKT\) 条件是两种常用的方法。在有等式约束时使用拉格朗日乘子法，不等式约束时使用 \(KKT\) 条件。这里的最优化问题通常指函数在作用域上的全局最小值（最小值与最大值可以互换）。 最优化问题常见三种情况： 一、无约束条件 求导等于0得到极 阅读全文

摘要： 1. 线性回归的模型函数和损失函数 对于m个样本，n维特征， 如果y是连续的，则是回归问题，否则是分类问题。 它的线性回归模型是： θi (i = 1,2...n)是参数，xi (i = 1,2...n)是每个样本的n个特征。 这里增加一个特征 x0 = 1，得到 矩阵形式的线性回归模型：hθ(x) 阅读全文

摘要： 求解机器学习算法的模型参数，即无约束优化问题，常用两种方法：梯度下降，最小二乘法。此外还有牛顿法和拟牛顿法。 1. 梯度 对多元函数参数求偏导，把求得的偏导写成向量形式。比如：f(x,y)对x，y求偏导，梯度就是(∂f/∂x, ∂f/∂y)T。 2. 梯度下降法详解 梯度下降法有代数法和矩阵法两种表 阅读全文

摘要： 将数组打乱随机排列 两种方法： np.random.shuffle(x)：在原数组上进行，改变自身序列，无返回值。 np.random.permutation(x)：不在原数组上进行，返回新的数组，不改变自身数组。 1. np.random.shuffle(x) (1)、一维数组 import nu 阅读全文

摘要： Pandas包的merge、join、concat方法可以完成数据的合并和拼接，merge方法主要基于两个dataframe的共同列进行合并，join方法主要基于两个dataframe的索引进行合并，concat方法是对series或dataframe进行行拼接或列拼接。 1. Merge方法 pa 阅读全文

摘要： 决策树-ID3、C4.5 决策树-CART分类树 决策树-CART回归树 决策树的剪枝通过极小化决策树整体的损失函数。(决策树的生成只考虑局部最优，决策树的剪枝考虑全局最优)。 设 \(t\) 是树 \(T\) 的叶节点，个数为 \(|T|\)，该叶节点有 \(N_t\) 个样本点，其中 \(k\) 阅读全文

摘要： 最大熵模型与逻辑回归类似，是对数线性分类模型。在损失函数优化过程中，使用和支持向量机类似的凸优化技术。对熵的使用，会想起决策树ID3和C4.5。 1. 最大熵模型的定义 将最大熵原理应用到分类得到最大熵模型。 用最大熵模型选择一个最好的分类模型。训练集，其中x为n维特征向量，y为类别输出。 训练集总 阅读全文

摘要： 欧几里得空间，希尔伯特空间都属于函数空间（函数空间的元素都是由函数组成）。 函数空间的定义得从距离、范数、内积、完备性说起。 1. 距离 距离包括各个点之间的距离，向量之间的距离，曲线之间的距离，函数之间的距离等。 距离用于衡量同一空间不同元素之间的差异，下面是关于距离的属性： 元素之间的距离大于等 阅读全文

摘要： 来自：https://blog.csdn.net/u010451580/article/details/51178225 遗传算法是模仿生物进化机制的随机全局搜索和优化方法。借鉴达尔文进化论和孟德尔的遗传学说。 相关术语： 基因型(genotype)：性状染色体的内部表现； 表现形(phenotyp 阅读全文