摘要: 问题 Spark应用名在使用yarn-cluster模式提交时不生效,在使用yarn-client模式提交时生效,如图1所示,第一个应用是使用yarn-client模式提交的,正确显示我们代码里设置的应用名Spark Pi,第二个应用是使用yarn-cluster模式提交的,设置的应用名没有生效。 阅读全文
posted @ 2019-03-22 16:54 大葱拌豆腐 阅读(2372) 评论(0) 推荐(0)
摘要: 一、文章主题 本文主要讲解数据仓库的一个重要环节:如何设计数据分层!其它关于数据仓库的内容可参考之前的文章。 本文对数据分层的讨论适合下面一些场景,超过该范围场景 or 数据仓库经验丰富的大神就不必浪费时间看了。 数据建设刚起步,大部分的数据经过粗暴的数据接入后就直接对接业务。 数据建设发展到一定阶 阅读全文
posted @ 2019-03-22 13:43 大葱拌豆腐 阅读(1140) 评论(0) 推荐(1)
摘要: 数据仓库与数据集市建模 前言 数据仓库建模包含了几种数据建模技术,除了ER建模和关系建模,还包括专门针对数据仓库的维度建模技术。 本文将详细介绍数据仓库维度建模技术,并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系:规范化数据仓库,维度建模数据仓库,以及独立数据集市。 维度建模的 阅读全文
posted @ 2019-03-22 11:22 大葱拌豆腐 阅读(879) 评论(0) 推荐(3)
摘要: 前言 阅读本文前,请先回答下面两个问题: 1. 数据库和数据仓库有什么区别? 2. 某大公司Hadoop Hive里的关系表不完全满足完整/参照性约束,也不完全满足范式要求,甚至第一范式都不满足。这种情况正常吗? 如果您不能五秒内给出答案,那么本文应该是对您有帮助的。 数据库的"分家" 随着关系数据 阅读全文
posted @ 2019-03-22 11:11 大葱拌豆腐 阅读(1017) 评论(0) 推荐(0)