Hadoop小结们

摘要: 数仓 数据仓库是一个面向主题的、集成的、随着时间变化的、非易失的数据集合,用于支持管理者的决策过程。 数据仓库中的力度是指数据的细节或汇总程度,细节程度越高,粒度几倍越低。 数据仓库的数据来自各个业务应用系统。 很多因素导致直接访问业务系统无法进行全局数据分析工作,这也是需要一个数据仓库的原因所在。 阅读全文
posted @ 2019-07-15 17:54 菲菲菲非常可爱的小白兔 阅读(106) 评论(0) 推荐(0)

Hadoop构建数据仓库实践读书笔记【3】--抽取转换装载

摘要: ETL Exract Transform Load 抽取、转换、装载。 ETL 是建立数据仓库最重要的处理过程,也是最体现工作量的环节,一般会占用到整个数据仓库项目工作量的一半以上。 抽取:从操作型数据源获取数据。 转换:转换数据,使之转变为适用于查询和分析的形式和结构。 装载:将转换后的数据导入最 阅读全文
posted @ 2019-07-15 17:17 菲菲菲非常可爱的小白兔 阅读(321) 评论(0) 推荐(0)

Hbase 、hive、Impala使用————未完待续

摘要: 1、impala 数据不会实时更新。 更新命令:INVALIDATE METADATA; 更新所有表。 refresh tablename 更新某一张表。 查询速度超级快,媲美mysql。 阅读全文
posted @ 2019-07-12 14:13 菲菲菲非常可爱的小白兔 阅读(196) 评论(0) 推荐(0)

Hadoop构建数据仓库实践读书笔记【2】--主要数据仓库架构

摘要: 几种主要的架构方法:数据集市架构、Inmon企业信息工厂架构、Kimball数据仓库架构和混合型数据仓库架构。 数据集市是按主题域组织的数据集合,用于支持部门级的决策。两种类型的数据集合:独立数据集市和从属数据集市。 独立数据集市集中于部门所关心的单一主题域,数据以部门为基础部署,无须考虑企业级别的 阅读全文
posted @ 2019-07-11 10:42 菲菲菲非常可爱的小白兔 阅读(216) 评论(0) 推荐(0)

操作型系统和分析型系统对比

摘要: 操作系统的数据会持续更新(实时),并且更新会立即生效。而分析型系统的数据更新,是由预定义的处理作业同事装载大量的数据集合,并且在装载钱需要做数据转换,因此整个数据更新过程需要很长的执行时间。 阅读全文
posted @ 2019-07-10 16:39 菲菲菲非常可爱的小白兔 阅读(543) 评论(0) 推荐(0)

Hadoop构建数据仓库实践读书笔记【1】

摘要: 数据仓库:面向主题的、集成的、随时间变化的、非易失的数据集合,用于支持管理者的决策过程。 数仓的好处: 将多个数据源集成到单一数据存储,因此可以使用单一数据查询引擎展示数据。 缓解在事务处理数据库上因执行大查询儿产生的资源竞争问题。 维护历史数据。 通过对多个源系统的数据整合,使得在整个企业的角度存 阅读全文
posted @ 2019-07-10 15:07 菲菲菲非常可爱的小白兔 阅读(529) 评论(0) 推荐(0)

python编程导论读书笔记【3】

摘要: ### 递归 递归的定义包含了两部分:至少有一种基本情形可以直接得到某种特定情形的结果,至少有一种递归情形(或称归纳情形)定义了该问题在其他情形下的结果。 世界上最简单的递归定义可能就是自然数的阶乘函数。 1!=1 (n+1)!=(n+1)*n! ### 斐波那契数列 ```pythondef fi 阅读全文
posted @ 2019-07-10 14:29 菲菲菲非常可爱的小白兔 阅读(144) 评论(0) 推荐(0)

python编程导论读书笔记【2】

摘要: ## 函数、作用域与抽象 #### 函数的定义 def name of function(list of formal parameters): ​ body of function 函数被调用时,会执行以下过程: 1. 构成实参的表达式被求值,函数的形参被绑定到求值结果。例如调用macVal(3+ 阅读全文
posted @ 2019-07-10 14:28 菲菲菲非常可爱的小白兔 阅读(128) 评论(0) 推荐(0)

python编程导论读书笔记【1】

摘要: Python 编程导论 启程 算法 描述一系列简单的步骤,以及一个控制流,用来确定某个步骤在什么情况下得以执行。这种描述称为算法。 算法包含一些测试指令,用来确定整个过程何时结束;还包含一些顺序指令,用来确定指令执行的顺序。有些时候,还会根据测试结果跳转到某些指令。 python简介 操作符+被称为 阅读全文
posted @ 2019-06-26 17:27 菲菲菲非常可爱的小白兔 阅读(239) 评论(0) 推荐(0)

编程语言汇总

摘要: 我们听不懂日语是因为不懂日语的语法规则 学编程 == 学语法规则 编程能干什么? print hello world eject cd 一堆指令的组合 == 》 软件 有很多套与计算机交互的语法规则, 600多种编程语言 C = 各个操作系统的开发语言 1973 C++ = C++是C语言的加强版 阅读全文
posted @ 2019-06-26 16:32 菲菲菲非常可爱的小白兔 阅读(422) 评论(0) 推荐(0)