弘一的花园

摘要： 今天学习SVD原理，查看一些博文与资料，为了方便复习，做一下学习笔记。 SVD不仅是一个数学问题，在工程应用中的很多地方都有它的身影，比如前面讲的PCA，掌握了SVD原理后再去看PCA那是相当简单的，在推荐系统方面，SVD更是名声大噪，将它应用于推荐系统的是Netflix大奖的获得者Koren，可以 阅读全文

摘要： 今天看到PCA，查了资料，觉得还是PCA的数学原理讲的最易懂，那么我就厚颜将博文重写了一遍，加深印象，也作为读文笔记。 数据的向量表示及降维问题 一般情况下，在数据挖掘和机器学习中，数据被表示为向量。例如某个淘宝店2012年全年的流量及交易情况可以看成一组记录的集合，其中每一天的数据是一条记录，格式 阅读全文

摘要： 最近学习了矩阵的空间，以及各个空间的关系，为了以后查阅方便，便做个笔记，有错误的地方请大家指正一下。 数学符号 符号 意义 Rn n维实空间 Rm×n mxn的实矩阵集合 T 转置 det(A) 行列式 C(A) 列空间 N(A) 零空间 A−1 逆 diag(a) 将向量转化为对角矩阵 Tr 迹 阅读全文

摘要： 参考资料 https://wenku.baidu.com/view/da5a1f14f18583d049645976.html?re=view 今天看SVD（奇异值分解），讲到了满秩分解，我查阅了一下资料，顺便做一下笔记。 定理 设A∈Cm×nr，那么存在B∈Cm×rr,C∈Cr×nr，使得：A=B 阅读全文

摘要： PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的 阅读全文

摘要： 今天复习一下协方差，查了一些资料。 学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述， 这些高中学过数学的孩子都应该知道吧，一带而过。 很显然，均值描述的是样本集合的中间点，它告诉我们的信息是很有限的， 阅读全文

摘要： 拉格朗日乘数法是用来求条件极值的，极值问题有两类，其一，求函数在给定区间上的极值，对自变量没有其它要求，这种极值称为无条件极值。 其二，对自变量有一些附加的约束条件限制下的极值，称为条件极值。例如给定椭球： 求这个椭球的内接长方体的最大体积。这个问题实际上就是条件极值问题，即在条件： 下，求的最大值 阅读全文

摘要： 1、什么是RDD？ RDD 弹性分布数据集。它是个数据集。 2、RDD存在位置？ RDD存在内存中，同时高度共享即RDD只读。 3、非循环的数据流模型：从稳定的物理存储（如分布式文件系统）中加载记录，记录被传入由一组确定性操作构成的DAG，然后写回稳定存储。DAG数据流图能够在运行时自动实现任务调度 阅读全文

摘要： 该论文来自Berkeley实验室，英文标题为：Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译，我是基于科学网翻译基础上进行优化、修改、补充，这篇译文翻 阅读全文

摘要： ls命令是Linux下最常用的命令之一，ls跟dos下的dir命令是一样的都是用来列出目录下的文件。 1. ls -a 列出文件下所有的文件，包括以“.“开头的隐藏文件（linux下文件隐藏文件是以.开头的，如果存在..代表存在着父目录） 2. ls -l 列出文件的详细信息，如创建者，创建时间，文 阅读全文