一只竹节虫

摘要： 1、明确分析的目的，提出问题。只有弄清楚了分析的目的是什么，才能准确定位分析因子，提出有价值的问题，提供清晰的指引方向。 2、数据采集。收集原始数据，数据来源可能是丰富多样的，一般有数据库、互联网、市场调查等。具体办法可以通过加入“埋点”代码，或者使用第三方的数据统计工具。 3、数据处理。对收集到的 阅读全文

摘要： map地图的使用 https://www.cnblogs.com/qi-yuan-008/p/12025305.html from pyecharts.charts import Bar from pyecharts import options as opts from pyecharts.glo 阅读全文

摘要： https://blog.csdn.net/CSDNXUXIAOYAO/article/details/98493012 df.dtypes 查看列数据类型 df.columns.values 查看列名 数据清洗主要分为三步： 重复值处理——删除（有几个相同就删除还是全部得相同）缺失值处理——删除， 阅读全文

摘要： import numpy as np a = np.array([1,2,3],dtype=np.int32) --定义元素类型 float print(a.dtype) arr = np.array([[1,2,3],[4,5,6]]) --生成全部为0,1的矩阵 a = np.zeros((3, 阅读全文

摘要： 常用的数据分析方法包括以下13种： 1. 描述统计 描述性统计是指运用制表和分类，图形以及计算概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度。 2. 假设检验 参数检验 参数检验主要包括U验和T检验 1）U验 使用条件：当样本含量n较大时，样本值符合正态分布 2）T检验 使用条件：当样本含量n 阅读全文

摘要： DROP时 内部表：元数据和数据本是都由HIVE自己掌控，内部表被删除后元数据和HDSF上的数据文件都将被删除，一般 外部表：外部表只删除元数据，不删除路径下的文件，重新创建该路径下的表时可以恢复数据 LOAD加载数据时 内部表：会把数据移动到自己指定的路径下 外部表：会把数据移动到自己指定的路径之 阅读全文

摘要： 一、概述 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。 核心的功能有两个： 导入、迁入 导出、迁出 导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 Hadoop 的文件系 阅读全文

摘要： ETL是什么ETL是Extract Transform Load三个英文单词的缩写 中文意思就是抽取、转换、加载。说到ETL就必须提到数据仓库。 那么怎么把数据弄到数据仓库里去呢，其中用到的一个技术就是ETL。 下面给下ETL的详细解释定义：ETL(Extract-Transform-Load的缩写 阅读全文

摘要： 1、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 回到顶部 2、Hadoop 框架的特性 A、不怕数据大，怕数据倾斜 B、Jobs 数比较多的作业运行效率相对比较低，如子查询比较多 C、 sum,count,max,min 等聚集函数，通常不会有数据倾斜问题 回到顶部 阅读全文

摘要： LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值 第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL） 与LAG相反 LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值 第一个参 阅读全文