KévinX

摘要： 数据仓库是一种关系数据库模式，其中保存了来自一个或者多个源数据库的历史数据和元数据。数据仓库的目的是便于将数据的报告和分析汇总到多个层次。 或者更简单点：是作为一个存放企业各个领域的数据的单独且有组织的库。 典型的数据仓库有以下的一些特点： 涉及多个主题域 有十分详细的信息 集合来自不同数据源的数据 阅读全文

摘要： 更多IT系统运维、大数据实战、项目管理、商务英语及应用知识，扫描下方二维码关注公众号了解更多！！！ 1、将txt文本文件放置hdfs目录下 2、登录hive并进入到指定数据库 3、创建表 create external table if not exists fun_user_external ( 阅读全文

摘要： 更多IT系统运维、大数据实战、项目管理、商务英语及应用知识，扫描下方二维码关注公众号了解更多！！！ 如果你想说，我不想知道里面的逻辑和实现方法，只想要python生成随机数的代码，请移步本文末尾，最简单的demo帮你快速获取实现方法。 先开始背景故事说明： 在数据分析中，数据的获取是第一步，nump 阅读全文

摘要： python中的axis 其实问题理解axis有问题，df.mean其实是在每一行上取所有列的均值，而不是保留每一列的均值。也许简单的来记就是axis=0代表往跨行（down)，而axis=1代表跨列（across)，作为方法动作的副词（译者注） 换句话说: 使用0值表示沿着每一列或行标签\索引值向 阅读全文

摘要： matplotlib绘图 阅读全文

摘要： ▌使用 pathlib 模块来更好地处理路径 pathlib 是 Python 3默认的用于处理数据路径的模块，它能够帮助我们避免使用大量的 os.path.joins语句： 1 2 3 4 5 6 7 8 向左滑动查看完整代码 在Python2中，我们需要通过级联字符串的形成来实现路径的拼接。而现 阅读全文

摘要： 在计算机科学，信息论中这五大算法体现的思想都是一些常用的核心思想，几乎所有算法都是基于这几类算法的思想上具体实现的，它们也是一种总结归纳吧。 分治算法 一、基本概念 在计算机科学中，分治法是一种很重要的算法。字面上的解释是“分而治之”，就是把一个复杂的问题分成两个或更多的相同或相似的子问题，再把子问 阅读全文

摘要： ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 ETL的 阅读全文

摘要： numpy中有一些常用的用来产生随机数的函数，randn()和rand()就属于这其中。 numpy.random.randn(d0, d1, …, dn)是从标准正态分布中返回一个或多个样本值。 numpy.random.rand(d0, d1, …, dn)的随机样本位于[0, 1)中。 代码： 阅读全文

摘要： 更多IT系统运维、大数据实战、项目管理、商务英语及应用知识，扫描下方二维码关注公众号了解更多！！！ merage# pandas提供了一个类似于关系数据库的连接(join)操作的方法<Strong>merage</Strong>,可以根据一个或多个键将不同DataFrame中的行连接起来，语法如下： 阅读全文