摘要： 一、scikit-learn 中的多项式回归 1）实例过程 模拟数据 import numpy as np import matplotlib.pyplot as plt x = np.random.uniform(-3, 3, size=100) X = x.reshape(-1, 1) y = 阅读全文

摘要： 一、多项式回归的思想 1）什么是多项式回归法？ 样本特征和值（y）呈非线性关系，这种关系的数学模型是一个多项式，如：y = ax2 + bx + c，其中 x2 可以看做是认为添加的另一个特征。 2）多项式回归法能解决什么问题？以及怎么解决？ 解决的问题：拟合不是直线关系而是其它曲线关系的数据； 解 阅读全文

摘要： 一、思维理解 将原始数据集降维，就是将数据集中的每一个样本降维：X(i) . WkT = Xk(i)； 在人脸识别中，X 中的每一行（一个样本）就是一张人脸信息； 思维：其实 Wk 也有 n 列，如果将 Wk 的每一行看做一个样本，则第一行代表的样本为最重要的样本，因为它最能反映 X 中数据的分布， 阅读全文

摘要： 一、噪音 噪音产生的因素：可能是测量仪器的误差、也可能是人为误差、或者测试方法有问题等； 降噪作用：方便数据的可视化，使用样本特征更清晰；便于算法操作数据； 具体操作：从 n 维降到 k 维，再讲降维后的数据集升到 n 维，得到的新的数据集为去燥后的数据集； 降维：X_reduction = pca 阅读全文

摘要： 一、数据 获取数据 import numpy as np from sklearn.datasets import fetch_mldata mnist = fetch_mldata("MNIST original") 查看数据 mnist # 输出： {'COL_NAMES': ['label', 阅读全文

摘要： 一、基础理解 1） PCA 降维的基本原理 寻找另外一个坐标系，新坐标系中的坐标轴以此表示原来样本的重要程度，也就是主成分；取出前 k 个主成分，将数据映射到这 k 个坐标轴上，获得一个低维的数据集。 2）主成分分析法的本质 将数据集从一个坐标系转换到另一个坐标系，原坐标系有 n 个维度（n 中特征 阅读全文

摘要： 一、目标函数的梯度求解公式 PCA 降维的具体实现，转变为： 方案：梯度上升法优化效用函数，找到其最大值时对应的主成分 w ； 1）推导梯度求解公式 变形一 变形二 变形三：向量化处理 最终的梯度求解公式：▽f = 2 / m * XT . (X . dot(w) ) 二、代码实现（以二维降一维为例 阅读全文

摘要： PCA（Principal Component Analysis） 一、指导思想 降维是实现数据优化的手段，主成分分析（PCA）是实现降维的手段； 降维是在训练算法模型前对数据集进行处理，会丢失信息。 降维后，如果丢失了过多的信息，在我们不能容忍的范围里，就不应该降维。 降维没有正确与否的标准，只有 阅读全文

摘要： 一、梯度下降法的调试 1）疑问 / 难点 如何确定梯度下降法的准确性？ 损失函数的变量 theta 在某一点上对应的梯度是什么？ 在更负责的模型中，求解梯度更加不易； 有时候，推导出公式后，并将其运用到程序中，但当程序运行时，有时对梯度的计算可能会出现错误，怎么才能发现这种错误？ 2）梯度下降法的调 阅读全文

摘要： 1）向量与数组的区别： 2）不同长度的数组相加 一维数组(m, ) + 向量(n, 1)：矩阵(n, m) 3）矩阵相乘 矩阵 . dot(一维数组)：一维数组（m, ） 矩阵 . dot(向量)：向量（m, 1）； 4）删除矩阵（或数组）中的一行 / 一列 阅读全文