【转】高方差与高偏差
摘要:1.数据欠拟合会出现高偏差问题,比如数据的趋势是二次函数,用一次函数取拟合会出现高的偏差。 2.数据过度的拟合会出现高方差问题,比如用10个数据特征去拟合9个数据会出现高的方差。 3.怎么处理高偏差和高方差问题: 高偏差:训练误差很大,训练误差与测试误差差距小,随着样本数据增多,训练误差增大。解决方
阅读全文
coursera 吴恩达作业第八次提交
摘要:estimateGaussian.m selectThreshold cofiCostFunc.m
阅读全文
coursera 吴恩达作业第七次提交
摘要:findClosestCentroids.m computeCentroids.m pca.m projectData.m recoverData.m
阅读全文
coursera 吴恩达作业第六次提交
摘要:gaussianKernel.m dataset3Params.m processEmail.m emailFeatures.m
阅读全文
coursera 吴恩达作业第五次提交
摘要:linearRegCostFunction.m learningCurve.m polyFeatures.m validationCurve.m
阅读全文
coursera 吴恩达机器学习第三次作业提交
摘要:仅贴添加部分 lrCostFunction.m oneVsAll.m predictOneVsAll.m predict.m
阅读全文
numpy 学习笔记
摘要:array 的基本操作 arange reshape 为什么会出错呢? 因为 a 只有14个元素,不够分 shape, ndim, size, type 从list生成 array 通过numpy 内建函数初始化 array 数组运算 数组运算内建函数 Shape操作 拼接 切分 零散笔记 表示ar
阅读全文
coursera 吴恩达机器学习第二次作业提交
摘要:只贴添加的部分,时间关系有些不是最优雅的解法。。 看不懂请留言 plotData.m sigmoid.m costFunction.m predict.m costFunctionReg.m
阅读全文
机器学习笔记(8):过拟合问题
摘要:过拟合问题 过拟合:当我们有太多的 feature 时, hypothesis 可能对训练集 fit 得非常好,但是对于新的测试数据可能会预测不准确。通常由生成了大量与数据无关的不必要曲线和角的复杂函数引起的。 欠拟合:明显有些数据不符合模型,通常由太简单的函数或者太少的 feature 引起的。
阅读全文
机器学习笔记(7):逻辑回归模型
摘要:损失函数(Cost function) 不能使用跟线性回归一样的损失函数,因为那样会使输出曲线是波浪形的,导致其不适合凸函数,有很多局部最优值。 线性回归的损失函数是这样的: 当 y = 1 时,J(θ) 的图是这样的: 当 y = 0 时,J(θ) 的图如下: 如果 y 为0, 如果 hθ(x)
阅读全文
机器学习笔记(6):分类问题的表达
摘要:分类 分类问题无法用线性函数来表达,分类问题更像一个只有很少离散值的回归问题。 这里我们聚焦在只有两个值(0或者1)的二元分类问题上。 Hypothesis 函数 对于分类问题,我们用 Sigmoid 函数(即逻辑函数)作为 hypothesis 函数 Sigmoid函数的曲线图如下: 函数 g(z
阅读全文
coursera 吴恩达机器学习第一次作业提交
摘要:ex1的提交,只贴添加内容 warmUpExercise.m computeCost.m gradientDescent.m featureNormalize.m computeCostMulti.m gradientDescentMulti.m normalEqn.m
阅读全文
coursera octave 作业 submit 错误解决方法
摘要:本文针对吴恩达的课程作业提交 在ubuntu 下提交作业时可能会出现这种错误: !! Submission failed: unexpected error: urlread: Peer certificate cannot be authe nticated with given CA certi
阅读全文
机器学习笔记(5):octave 教程
摘要:基本运算 在 ubuntu 上执行 octave-cli 即可进入 octave 界面,下面是基本的运算 赋值和输出 矩阵 矩阵操作 维度 导入数据 取矩阵中的数值 拼接矩阵 矩阵计算 注意,pinv返回值是伪逆,非逆矩阵也能计算出其广义逆矩阵 绘图 同时显示两幅图,并显示纵横轴的名称,曲线名称以及
阅读全文
机器学习笔记(4):正规方程(Normal Equation)
摘要:正规方程(Normal Equation) 正规方程是通过一个公式来计算最小值,并不需要像梯度下降那样迭代,也不需要做 feature scaling 梯度下降和正规方程的比较: 梯度下降 正规方程 需要选取 alpha 值 不需要选取 alpha 值 需要多次迭代 不需要迭代 O(kn2) O(n
阅读全文
机器学习笔记(3):多元线性回归
摘要:多元线性回归的表达 当有多个特征输入时,h(x)函数可以表示为 为了方便表示,我们假设 x0 = 1,将特征输入和参数用向量表示如下: 则 h(x) 可以表示为; 多元线性回归中的梯度下降 当有多个特征输入时,梯度下降公式为 特征缩放(feature scaling) 当每个输入特征值的值范围相差很
阅读全文
机器学习笔记(2):梯度下降
摘要:梯度下降算法的定义 对于cost function J(θ0, θ1, ... θn),要想获取到其最小值,我们需要这么计算: 1. 从 θn 某个初始值开始,如 θ0 = 0, θ1 = 0,... θn = 0 2. 不断改变 θn 的值来减小 J(θ0, θ1, ... θn) 的值,直到我们
阅读全文
机器学习笔记(1): 模型和 cost function
摘要:表达模型 变量表示: x(i) : 第 i 个输入变量,也称为输入特征 y(i) : 第 i 个输入变量,即我们希望预测的内容 (x(i), y(i)) ; i = 1,...,m : 表示一个训练集 X : 输入值空间; Y : 输出值空间 模型的表达: 对于监督学习来说,就是给定一个训练集,输出
阅读全文