机器学习 - 随笔分类 - 郑哲

t-sne

摘要：http://www.datakit.cn/blog/2017/02/05/t_sne_full.html t-SNE完整笔记 2017年02月05日机器学习机器学习字数:26531 http://www.datakit.cn/blog/2017/02/05/t_sne_full.html t 阅读全文

posted @ 2018-05-05 11:33 郑哲阅读(556) 评论(0) 推荐(0)

SVD(奇异值分解)

摘要：1.特征值和奇异值基础知识特征值：如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式：这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式：其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素阅读全文

posted @ 2018-05-05 10:59 郑哲阅读(295) 评论(0) 推荐(0)

大规模机器学习

摘要：第十三讲. 大规模机器学习——Large Scale Machine Learning （一）、为什么要大规模机器学习？（二）、Stochastic和Batch梯度下降（三）、Mini-Batch梯度下降（四）、在线学习（Online Learning）（五）、MapReduce和并行计算原阅读全文

posted @ 2017-08-24 15:42 郑哲阅读(349) 评论(0) 推荐(0)

推荐系统

摘要：本栏目（Machine learning）包括单参数的线性回归、多参数的线性回归、Octave Tutorial、Logistic Regression、Regularization、神经网络、机器学习系统设计、SVM（Support Vector Machines 支持向量机）、聚类、降维、异常检阅读全文

posted @ 2017-08-24 15:30 郑哲阅读(368) 评论(0) 推荐(0)

高斯分布（正态分布）

摘要：~：服从于，这里是x服从于高斯分布的意思。随着离μ的距离不断增大p(x)逐渐趋向于0. 参数对高斯公式图像的影响，但是高斯公式的总面积始终为1 参数的值阅读全文

posted @ 2017-08-24 07:17 郑哲阅读(610) 评论(0) 推荐(0)

异常检测

摘要：异常检测：判断测试集是否异常。如下例中对飞机引擎的判断：我们建立评估模型概率模型p(x)来判断，如果p(x)<ε异常，反之正常用处举例：购物网站用户异常检测，计算机集群异常检测算法实现：建立评估模型： 1.选择相应的变量。 2.变量拟合高斯分布。 3.计算概率。两个参数时的概率模型图：阅读全文

posted @ 2017-08-24 07:07 郑哲阅读(339) 评论(0) 推荐(0)

主成分分析法的应用

摘要：我们通过PCA把二维数据降到一维。那么怎么把一维数据变回二维通过X=UZ 我们得到的点都在z轴上这个X十分解决x了如何去选择k值 PCA的成本函数：总变差（这些x长度的平方均值）: 意味这我的平均向量离0向量有多远我们选择k使下面的公式成立：使得99%差异性得到保留除了0.01，人们阅读全文

posted @ 2017-08-23 16:29 郑哲阅读(585) 评论(0) 推荐(0)

主成分分析法（PCA）

摘要：比如说我们有两个特征变量，我们想让他变成一个变量首先我们画一条线，做各个点到这条线上的投影，箭头所指的蓝色线段为投影误差，PCA不会选择红色这条线投影，因为投影误差太大了。所以PCA的目标是使投影误差最小化 PCA和线性回归的区别线性回归的误差来自竖直方向，而PCA的误差来自垂直方向 PCA 阅读全文

posted @ 2017-08-23 15:09 郑哲阅读(352) 评论(0) 推荐(0)

数据降维和可视化

摘要：当有两个特征变量为厘米和英尺时，我们可以把两个特征变量降为1个两个变量的值几乎呈线性关系，相关性很强于是得到下图的新的变量：同样可以把3维降到2维：维数约减同样可以用在高维度。数据可视化当我没有大量变量，比如有50个我们可以用维数减约来降到两维从而使数据可视化阅读全文

posted @ 2017-08-23 14:36 郑哲阅读(621) 评论(0) 推荐(0)

聚类

摘要：无监督学习聚类：对数据进行分类 1.K均值算法先选两个中心簇分类：根据离两个点的距离远近，把数据分成两类移动中心，移动到各类的中心：不断循环上面的步骤输入： 1.K-分类的个数。 2.训练集算法：如果在循环过程中一个类没有和他最近的点， 1.移除这个类，也就是减少一个类 2.随机产阅读全文

posted @ 2017-08-22 19:03 郑哲阅读(387) 评论(0) 推荐(0)

支持向量机的实现

摘要：使用SVM优化包（liblinear,libsvm)来求θ 我们要做得： 1.选择适当的C值 2.选择相应的核函数我们也可以不选择核函数（称为线性核函数）弊端：如果你有大量的特征变量如果 n 很大而训练集的样本数 m 很小那么你知道你有大量的特征变量 x 是一个 n+1 维向量 x 阅读全文

posted @ 2017-08-22 18:19 郑哲阅读(295) 评论(0) 推荐(0)

支持向量机核函数

摘要：当我们要去判断一个非线性的区域，我们会选择用非线性函数来拟合。问题是能不能选择别的特征变量或者有没有比这些高阶项更好的特征变量因为我们并不知道这些高阶项是不是我们真正需要的我们之前谈到计算机视觉的时候提到过这时的输入是一个有很多像素的图像我们看到如果用高阶项作为特征变量运阅读全文

posted @ 2017-08-22 13:01 郑哲阅读(950) 评论(0) 推荐(0)

支持向量基

摘要：强大的算法广泛的应用于工业界和学术界它被称为支持向量机(Support Vector Machine) 与逻辑回归和神经网络相比支持向量机或者简称SVM 在学习复杂的非线性方程时、提供了一种更为清晰更加强大的方式 Logistic回归的替代观点 J(θ)=-(yloghθ(x)+(1 阅读全文

posted @ 2017-08-22 12:13 郑哲阅读(257) 评论(0) 推荐(0)

倾斜类误差度量

摘要：癌症分类例子：训练逻辑回归模型hθ(x).(如果有癌症则为1，没有为0）我们在测试集中得到1%的错误率,看起来不错但是假如我们发现在测试集中只有0.5%的患者真正得了癌症因此在我们的筛选程序里只有0.5%的患者患了癌症只有0.5%的错误率，显然只考虑误差率不合适因为你可能会获阅读全文

posted @ 2017-08-22 09:58 郑哲阅读(582) 评论(0) 推荐(0)

构建垃圾邮件分类器

摘要：优先考虑什么工作系统设计实例：给定一个数据集的电子邮件，我们可以构建一个向量的每一封电子邮件。在这个向量的每个条目代表一个字。该向量通常包含10000到50000个条目，这些集合是通过查找数据集中最常用的词来收集的。如果在电子邮件中找到一个词，我们将把它的条目指定为1，否则如果找不到，该条目将是阅读全文

posted @ 2017-08-21 19:18 郑哲阅读(2428) 评论(0) 推荐(0)

偏差vs方差

摘要：在这部分我们检验多项式层数d和过拟合和欠拟合之间的关系。 1.我们区分是否是偏差或方差导致我们预测错误。 2.大偏差是欠拟合，大方差是过拟合。理想情况下，我们需要在这两者之间找到中庸之道。当我们增加多项式的D时，训练误差会减小。同时，交叉验证误差会随着d增加到一个点而减小，然后随着d的增加而增大阅读全文

posted @ 2017-08-19 19:08 郑哲阅读(549) 评论(0) 推荐(0)

评估假设

摘要：如果我们对我们的预测中的错误进行了一些解决： 1.更多的训练样本 2.减少变量 3.尝试额外的参数 4.在多项式的参数 5.增加或减少λ 我们可以评估我们的新假设假设可能有一个低误差的训练例子但仍然是不准确的（因为过度拟合）。因此，为了评估一个假设，给定训练样本的数据集，我们可以将数据分成两组：一阅读全文

posted @ 2017-08-19 14:04 郑哲阅读(346) 评论(0) 推荐(0)

神经网络（总代码）

摘要：首先，选择一个网络体系结构；选择你的神经网络的布局，包括每个层有多少隐藏单元，以及你想要拥有多少层。 1.输入层的节点数=x(i)的维度 2.输出层的节点数=分类的数量 3.每层隐藏单位数=通常更好（必须与计算成本相平衡，因为它增加了隐藏单位） 4.默认值：1隐藏层。如果你有超过1个隐藏层，那么建议阅读全文

posted @ 2017-08-09 18:04 郑哲阅读(343) 评论(0) 推荐(0)

随机初始化（代码实现）

摘要：将所有θ权重初始化为零并不适用于神经网络。当我们反向传播，所有节点将更新为相同的值反复。我们可以为我们的Θ矩阵随机初始化使用以下方法我们的砝码：因此，我们初始化每个在[−ϵ，ϵ]。使用上述公式保证我们得到期望的约束。同样的程序适用于所有的Θ的。下面是一些工作的代码，你可以使用实验。 If the 阅读全文

posted @ 2017-08-09 16:58 郑哲阅读(617) 评论(0) 推荐(0)

梯度检测（代码实现）

摘要：梯度检查将确保我们的反向传播工作的预期。我们可以把我们的成本函数的导数近似为：多θ的矩阵，我们可以近似导数ΘJ如下：对于ϵ小值（ε）如ϵ= 10−4，保证了正确的数学。如果ϵ的值足够小，我们可以最终数值问题。因此，我们只添加或减去ε的ΘJ矩阵。在matlab我们可以如下做： epsilon = 阅读全文

posted @ 2017-08-09 16:51 郑哲阅读(503) 评论(0) 推荐(0)

随笔分类 - 机器学习