该文被密码保护。 阅读全文

摘要： hadoop：一个分布式系统基础架构，是一个能够对大量数据进行分布式处理的软件框架，是一个能够让用户轻松架构和使用的分布式计算平台。 Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System（HDFS），它存储 Hadoop 集群中所有存储节点上的文件。 阅读全文

摘要： 好的数据体系，其价值体现在三个方面： 1、对数据团队，协助建设更合理的数据模型，节省更多人力和资源成本； 2、对业务团队，能快速响应业务需求； 3、对研发团队，明确数据出处，节省数据问题追踪时间。 数据体系从业务而生，又服务于业务，整个建设过程形成闭环： 业务理解--》数据指标体系--》数据采集-- 阅读全文

摘要： 标题为“数据分析师如何进行数据仓库建设？”，那么就先对数据分析师、数据仓库工程师这两种角色进行简单的描述。 数据分析师：根据主题分析需求，抽取对应的数据进行分析的人员。分析需求来源以及分析结果应用在此就不详述了； 数据仓库工程师：顾名思义，就是对数据仓库进行设计和实现的人员。设计模型及实现手段在此就 阅读全文

摘要： 1、为什么要建设数据仓库？ 为了更快更好的响应业务上的分析需求。 传统数据库是操作型数据库，数据仓库是分析型数据库 1.1、数据仓库建设方法？ 建设流程：梳理业务主题--》ER图(ER模型)--》逻辑建模(关系模型)。其中，数据仓库建设过程即ER图到关系模型的实现过程，数仓模型也属于关系模型中的一种 阅读全文

摘要： 一、概述 在工程实践中，我们得到的数据会存在有缺失值、重复值等，在使用之前需要进行数据预处理。数据预处理没有标准的流程，通常针对不同的任务和数据集属性的不同而不同。数据预处理的常用流程为：去除唯一属性、处理缺失值、属性编码、数据标准化正则化、特征选择、主成分分析。 二、数据预处理方法 1. 去除唯一 阅读全文