随笔分类 -  machine learning

摘要：7.3 岭回归 7.3.1 验证多重共线性 7.3.2 岭回归理论 7.3.3 岭际分析 7.3.4 k值的判断 7.3.5 辅助函数 （1）导入多维数据集：加载数据集 （2）标准化矩阵数据集 （3）绘制图形 7.3.6 岭回归实现与K值确定 参考资料：郑捷《机器学习算法原理与编程实践》 仅供学习研 阅读全文

摘要：7.2 径向基网络 7.2.1 RBF 网络 RBF网络是属于前馈神经网络，输入层与所有的其他神经网络相同，输入层到隐含层再到输出层经历了三次运算。 从输入层到隐含层求解输入节点与类别标签的欧式距离||dist|| 在隐含层根据欧式距离使用RBF高斯函数进行曲线拟合 从隐含层到输出层为一个线性函数。 阅读全文

摘要：7.1.1 回归与现代预测 7.1.2 最小二乘法 7.1.3 代码实现 （1）导入数据 （3）主函数 资料来源：郑捷《机器学习算法原理与编程实践》 仅供学习研究 阅读全文

摘要：6.2.1 略 6.2.2 BP网络的构成 输入层：样本向量的维度 激活函数：Logistic 误差计算：实际分类-预测分类 输出层：类别标签向量 迭代公式 如下图所示BP网络的基本结构，该结构分为以下几个部分： （1）输入层i 输入向量：x = （x1，x2，x3，...,xn） 输入层与隐含层链 阅读全文

摘要：5.2.1 梯度下降（略） 5.2.2 线性分类器（略） 5.2.3 Logistic函数—世界不是非黑即白 5.2.4 算法流程 单神经元的Logistic分类器 （1）导入数据 （2）按分类绘制散点图 （3）构建b+x系数矩阵：b这里默认为1 结果为： [[ 1. -0.017612 14.05 阅读全文

摘要：一、感知器 感知器是Frank Rosenblatt在1957年就职于Cornell航空实验室时发明的，其灵感来自于对人脑的仿真，大脑是处理信息的神经元（neurons）细胞和链接神经元细胞进行信息传递的突触（synapses）构成。 一个神经元可以看做将一个或者多个输入处理成一个输出的计算单元。一 阅读全文

摘要：5.1 最优化与计算复杂度 5.1.1 最优化理论 5.1.2 最优化的数学描述 最优化问题的基本数学模型如下： 在上述模型中： x是位于实数域（R）范围内的n维向量，x被称为决策变量或问题的解。 s.t.为英文subject的缩写，表示受限于。 f(x)称为目标函数或代价函数（Cost Funct 阅读全文

摘要：一、什么是机器学习 （一） 对于给定的任务T，在合理的性能度量方案P的前提之下，某计算机程序可以自主学习任务T的经验E；随着提供合适、优质、大量的经验E，该程序对于任务T的性能逐步提高。 机器学习是人工智能的一个分支。我们使用计算机设计一个系统，使他能够根据提供的训练数据按照一定的方式来学习；随着训 阅读全文

摘要：4.5.1 SVD算法回顾 A = U∑VT 其中：A是N*M的矩阵，U是M*M的方阵（里面向量正交，称为左奇异向量）,∑是一个M*N的矩阵，VT是一个N*N的矩阵（里面向量正交，右奇异向量） 那么奇异值是怎么对应起来的呢？首先，将矩阵A转置AT，将会得到一个方阵，这个方阵求特征值可以得到： （AA 阅读全文

摘要：# 用PCA降维 # 降维可视化 阅读全文

摘要：13.2.2 在NUmpy中实现PCA 将数据转换成前N个主成分的伪代码大致如下： 去除平均值 计算协方差矩阵 计算协方差矩阵的特征值和特征向量 将特征值从大到小排列 保留最上面的N个特征向量 将数据转换到上述的N个特征向量构建的新空间中 在NumPy中实现PCA： 资料来源：《机器学习实战》 阅读全文

摘要：作者：卢嘉颖 链接：https://www.zhihu.com/question/27187105/answer/97334347 来源：知乎 著作权归作者所有，转载请联系作者获得授权。 1. pickle >>> from sklearn import svm >>> from sklearn import datasets >>> clf = svm.SVC() >>> iris = da... 阅读全文

摘要：# K的选择：肘部法则 如果问题中没有指定 的值，可以通过肘部法则这一技术来估计聚类数量。肘部法则会把不同 值的成本函数值画出来。随着 值的增大，平均畸变程度会减小；每个类包含的样本数会减少，于是样本离其重心会更近。但是，随着 值继续增大，平均畸变程度的改善效果会不断减低。 值增大过程中，畸变程度的 阅读全文

摘要：（上接第二章） 4.3.1 KMeans 算法流程 算法的过程如下： （1）从N个数据文档随机选取K个文档作为质心 （2）对剩余的每个文档测量其到每个质心的距离，并把它归到最近的质心的类 （3）重新计算已经得到的各个类的质心 （4）迭代（2）~（3）步直至新的质心与原质心相等或者小于指定阀值，算法结 阅读全文

摘要：4.1 推荐系统概述 4.1.1 从亚马逊网站认识推荐系统 4.1.2 推荐系统架构 第一部分 推荐系统至少三个推荐方： 物品信息、用户信息、用户对物品或者信息的偏好 第二部分 算法区域：推荐模型 基于人口统计学的推荐机制、基于内容的推荐、基于协同过滤的推荐（基于项目、基于用户）、基于隐语义的推荐模 阅读全文

摘要：# 决策树 输出结果： [Parallel(n_jobs=-1)]: Done 46 tasks | elapsed: 21.0s [Parallel(n_jobs=-1)]: Done 81 out of 81 | elapsed: 34.7s finished [Parallel(n_jobs= 阅读全文

摘要：（上接第三章） 3.4 Scikit-Learn与回归树 3.4.1 回归算法原理 在预测中，CART使用最小剩余方差（squared Residuals Minimization）来判断回归时的最优划分，这个准则期望划分之后的子树与样本点的误差方差最小。这样决策树将数据集切分成很多子模型数据，然后 阅读全文

摘要：# 逻辑回归 ## 逻辑回归处理二元分类 ## 垃圾邮件分类 输出结果： 预测类型：ham.信息：Waiting in e car 4 my mum lor. U leh? Reach home already?预测类型：ham.信息：Dear got train and seat mine low 阅读全文

摘要：（上接第二章） 2.4 分类算法：KNN 2.4.1 KNN算法原理(略） KNN算法的步骤构成： 第一阶段：确定k值（就是指最近邻居的个数）。一般是一个奇数。因为测试样本有限，故取k值为3. 第二阶段：确定距离度量公式。文本分类一般使用夹角余弦，得出分类数据点和所有已知类别的样本点，从中选择距离最 阅读全文

摘要：一、引入相关库 二、一元回归范例 三、利用sklearn建立一元回归 ## 波士顿房屋价格，SGDRegressor 输出结果： [ 0.65592082 0.71571537 0.79468123 0.69650452 0.67266115]Cross validation r-squared s 阅读全文