随笔分类 - NG机器学习
摘要：一.安装XGBoost: 通过链接 : https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost 下载自己适用的版本： 下载完后，打开anacoda prompt,使用： pip install xgboost-0.90-cp35-none-win_am
阅读全文
摘要：问题描述：使用SVM（支持向量机 ）实现一个垃圾邮件分类器。 在开始之前，先简单介绍一下SVM ①从逻辑回归的 cost function 到SVM 的 cost function 逻辑回归的假设函数如下： hθ(x)取值范围为[0,1]，约定hθ(x)>=0.5，也即θT·x >=0时，y=1；比
阅读全文
摘要：问题描述:根据水库中蓄水标线(water level) 使用正则化的线性回归模型预 水流量(water flowing out of dam)，然后 debug 学习算法 以及 讨论偏差和方差对 该线性回归模型的影响 ①可视化数据集 本作业的数据集分成三部分： ⓐ训练集(training set)，
阅读全文
摘要：大规模机器学习： 线性回归的梯度下降算法：Batch gradient descent(每次更新使用全部的训练样本) 批量梯度下降算法（Batch gradient descent）： 每计算一次梯度会遍历全部的训练样本，如果训练样本的比较多时，内存消耗过大。 随机梯度下降算法： 1、 首先将随机打
阅读全文
摘要：无监督算法： KMeans算法： 1、 随机初始化数据集簇的中心，一般从数据集中选择 2、 外循环： 内循环：计算各个数值点到中心的距离，进行聚类 计算每个聚类的平局值，移动聚类中心 PCA算法： 目标：数据压缩和可视化 1、 对样本数据进行去均值和归一化 2、 组建sigma矩阵，然后进行奇异值分
阅读全文
摘要：学习算法中的高方差对应过拟合，高偏差对应欠拟合； debug学习系统时： 改善高方差的方法：增加训练集数量、减小特征数量、增大正则系数 改善高偏差的方法:增加特征数量、减小正则系数、增加高阶特征 准确率和召回率如上图所示，衡量效果时使用F系数，如下图 逻辑回归和SVM的选择： n表示特征量的个数；m
阅读全文
摘要：问题描述：利用BP神经网络对识别阿拉伯数字（0-9） 训练数据集(training set)如下：一共有5000个训练实例(training instance)，每个训练实例是一个400维特征的列向量(20*20 pixel image)。用 X 矩阵表示整个训练集，则 X 是一个 5000*400
阅读全文
摘要：问题描述：使用逻辑回归(logistic regression)和神经网络(neural networks)识别手写的阿拉伯数字(0-9) 一、逻辑回归实现： 数据加载到octave中，如下图所示： ①样本数据的可视化 随机选择100个样本数据，使用Octave可视化的结果如下： ②使用逻辑回归来实
阅读全文
摘要：问题描述：用逻辑回归根据学生的考试成绩来判断该学生是否可以入学 这里的训练数据(training instance)是学生的两次考试成绩，以及TA是否能够入学的决定（y=0表示成绩不合格，不予录取；y=1表示录取） 因此，需要根据trainging set 训练出一个classification m
阅读全文
浙公网安备 33010602011771号