Nelson_software

摘要： Python常用语法看这些就够了（下篇） 九、Python 模块(Module) 模块是一个 Python 文件，以 .py 结尾，包含了 Python 对象定义和Python语句。 模块让你能够有逻辑地组织你的 Python 代码段。 1.import语句引入模块 导入方式：import 模块名 阅读全文

摘要： 参考教程：菜鸟教程 https://www.runoob.com/python3/python3-tutorial.html 使用的开发工具是Jupyter Notebook（Anaconda） 下面我主要是介绍一些需要注意的点和练习过程： 说在前面：动手很重要 一、python基本语法 1.标识符 阅读全文

摘要： 了解YARN 一、什么是YARN？ Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数 阅读全文

摘要： Hive基础 一、Hive是什么？ Hive的本质就是：将HQL/SQL转化为MapReduce程序在Hadoop上运行，可以看成是一个SQL解析引擎 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 Hive表是HDFS的文件目录，一个表对 阅读全文

摘要： 第五章、Data_Table 对数据的处理效率高 官方文档：https://github.com/Rdatatable/data.table 本章内容：（下面链接均是我在印象笔记上的笔记，希望共同进步，加油！） 一、认识data.table，了解data.table基本语法和聚合运算 https:/ 阅读全文

摘要： 在Hive中创建表时，默认情况下Hive负责管理数据。这意味着Hive把数据移入到它的“仓库目录”。另外一种选择是创建一个“外部表”（external table）。这会让Hive到仓库目录以外的位置去访问数据。 这两种表的区别表现在LOAD和DROP命令的语义上。先来看托管表（managed ta 阅读全文

摘要： 第四章、基本统计分析 参考书：深入浅出统计学 本章主要是对R的基本统计分析所用的函数进行整理，运行老师给出的代码，把结果展示出来。 本章的主要内容： 一、描述性统计分析 二、频数表（列联表） 三、独立性检验 四、相关性检验 五、t检验 六、方差分析 七、组间差异的非参数检验 具体内容：https:/ 阅读全文

摘要： 第三章、数据可视化 本章主要是了解一下R语言中自带的一些画图工具和数据包，用以数据分析。 注：本章大部分代码出自老师PPT，数据是R语言自带数据，图像是自己练习截图，本文主要是记录自己的练习过程。 本章的基本内容： 基本图形：条形图、饼图、直方图、核密度图、箱线图、马赛克图 中级绘图：散点图、气泡图 阅读全文

摘要： 第二章、数据处理 一、变量的创建、编码、命名 将数据表示为矩阵或数据框仅是数据准备的第一步，数据分析时，大量的时间都花在了数据处理上 1.创建新变量 变量名<-表达式 2.算数运算符 运算符 描述 + 加 - 减 * 乘 / 除 ^或** 求幂 x%%y 求余(x mod y) 5%%2=1 x%/ 阅读全文

摘要： 第一章、认识R语言 参考书：R语言实战 一、数据分析概述： 1.数据分析概念：数据分析是指用适当的统计方法对收集来的大量数据进行分析，提取有用的信息和形成结论来对数据加以详细研究和概括总结的过程。 2.数据分析原则： (1)为了验证假设，必须提供必要的数据验证。即构建完分析模型后，需要利用测试数据验 阅读全文