摘要： NameNode是整个文件系统的管理节点 他维护文件系统的文件目录树 文件目录的信息每个文件对应的数据块列表 接受用户操作请求 读数据时NameNode告诉你文件存放在哪 写数据时NameNode告诉你文件应该存在哪些机器上 阅读全文

摘要： -ls查看文件信息 -ls -R 查看所有子目录 hdfs dfs -ls path -put 从本地上传文件 hdfs dfs -put 本地文件路径 hdfs路径 -cat 查看文件内容 -get 下载文件 hdfs dfs -get hdfs路径 本地下载路径 注意：最后跟上文件名称可以实现下 阅读全文

摘要： 向量的内积（点乘，数量积） 要求a和b拥有相同的行列数，结果是一个标量。 a·b = |a||b|cos∠(a, b) 向量的外积（x乘） |a×b| = |a||b|sin∠(a,b) 阅读全文

摘要： 在机器学习和数据分析中，不同的特征属性的性质、量纲、数量级都是不同。在数值上相差很大，所以在数据预处理的过程中应该将数据进行标准化操作，是的各个特征的量纲处于同一水平。 常见的数据标准化方法有 1.极差标准化 x' = x - x（min）/ x（max）-x（min） 0=<x'=<1 2.Z-s 阅读全文

摘要： 1.去除唯一属性 类似于身份证信息，编号这类的属性，对数据分析无实际意义作用，在数据预处理的过程中我们将其删除。 2.缺失值填补 （1）均值填补：使用属性的平均值进行填补。 （2）同类均值填补：将样本进行分类，然后将缺失值所在类的属性均值拿来进行填补。 （3）众数填补：属性值出现最多的拿来填补。 （ 阅读全文