苏su

摘要： 什么是元数据 简单来讲就是用来描述数据的数据 为什么要元数据管理 数据的参考框架 解决数据模糊性 可视化数据流动 影响和血缘分析 推进标准化建设 规范化数据审计 普通应用系统为什么不需要元数据管理? 表的数量少 数据加工简单 数据来源单一 访问方式单一 交钥匙的应用 数据仓库为什么必须元数据管理? 阅读全文

摘要： 不同点 首先最大的不同就是企业数据仓库的模式不同，inmon是采用第三范式的格式，而kimball则采用了多维模型–星型模型，并且还是最低粒度的数据存储。 其次是，维度数据仓库可以被分析系统直接访问，当然这种访问方式毕竟在分析过程中很少使用。最后就是数据集市的概念有逻辑上的区别，在kimball的架 阅读全文

摘要： 数据元 定义： 用一组属性描述定义、标识、表示和允许值的数据单元。 数据的基本单元。 每个数据元的确切含义需要通过一系列属性来说明，包括数据的定义、标识、表示方法和管理等 通过定义、标识、表示以及允许值等一系列属性（元数据）描述的数据单元，被认定为是不可再分的最小的数据单元。 数据元一般来说由三部分 阅读全文

摘要： Volume(大体量) 即可从数百TB到数十数百PB、甚至EB的规模Variety(多样性) 即大数据包括各种格式和形态的数据Velocity(时效性) 即很多大数据需要在一定的时间限度下得到及时处理Veracity(准确性) 即处理的结果要保证一定的准确性Value(大价值) 即大数据包含很多深度 阅读全文

摘要： 数据仓库&面试总结 转自：https://zhuanlan.zhihu.com/p/145087259 一、数据仓库分为几层？负责什么职责？为什么要分层？ 1、数据仓库分为4层： ODS层 （原始数据层） DWD层 （明细数据层） DWS层 （服务数据层） ADS层 （数据应用层） 2、主要负责职责 阅读全文

摘要： 第一步：安装apacheyum install -y httpd第二步：安装mariadbyum install -y mariadb-server mariadb第三步：安装phpyum install -y php第四步：将php与mysql关联起来yum install php-mysql第五 阅读全文

摘要： 可行性分析是通过对项目的主要内容和配套条件，如市场需求、资源供应、建设规模、工艺路线、设备选型、环境影响、资金筹措、盈利能力等，从技术、经济、工程等方面进行调查研究和分析比较，并对项目建成以后可能取得的财务、经济效益及社会环境影响进行预测，从而提出该项目是否值得投资和如何进行建设的咨询意见，为项目决 阅读全文

摘要： -- 建表 CREATE TABLE <表名> ( <列名><数据类型>[列级完整性约束条件] ,<列名><数据类型>[列级完整性约束条件] ,<列名><数据类型>[列级完整性约束条件]... [,<表级完整性约束条件>] )； 列级完整性约束条件：-- NULL(空)-- UNIQUE(取值唯一) 阅读全文

摘要： 1、 on条件是在生成临时表时使用的条件，它不管and中的条件是否为真，都会返回左边表中的记录。 2、where条件是在临时表生成好后，再对临时表进行过滤的条件。这时已经没有left join的含义（必须返回左表的记录）了，条件不为真的就全部过滤掉。 现在有表a和表b id name 1 a 2 b 阅读全文

摘要： 创建作业及运行 1）ORACLE 到 ODPS 任务 例：从 ORACLE 读取数据到 ODPS $ cd {YOUR_DATAX_HOME}/job $ vi ora_odps.json { "job": { "setting": { "speed": { "channel": "5" } }, 阅读全文