摘要： 1、hive语句的书写顺序：（从前往后）(1)select(2)from(3)join on(4) where(5)group by(6)having(7)distribute by/cluster by(8) sort by(9) order by(10) limit(11) union(去重不排 阅读全文

摘要： 背景 数据仓库的核心是展现层和提供优质的服务。ETL 及其规范、分层等所做的一切都是为了一个更清晰易用的展现层。 数仓架构的原则： 1、底层业务的数据驱动为导向同时结合业务需求驱动2、便于数据分析屏蔽底层复杂业务简单、完整、集成的将数据暴露给分析层3、底层业务变动与上层需求变动对模型冲击最小化业务系 阅读全文

摘要： Hive中求交集和差集的两种方法: --1.交集: select id from t1 intersect select id from t2 --2.差集 select a.id from t1 left join t2 on t2.id = t1.id and t2.id is null; se 阅读全文

摘要： 引用： https://zhuanlan.zhihu.com/p/111979066 1 维度表的定义 在维度建模中，通常将指标的度量称之为“事实”，将产生度量的环境称之为“维度”。将描述同一个业务实体的的多个维度列组合在一起，就是常说的“维度表”。维度表是用户分析数据的窗口，其提供了事件发生过程中 阅读全文

摘要： 概述 命令jmap是一个多功能的命令。它可以生成 java 程序的 dump 文件， 也可以查看堆内对象示例的统计信息、查看 ClassLoader 的信息以及 finalizer 队列。 jmap命令是一个可以输出所有内存中对象的工具，甚至可以将VM 中的heap，以二进制输出成文本。 打印出某个 阅读全文

摘要： 引用：https://blog.csdn.net/strongyoung88/article/details/81156271 谓词下推概念 谓词下推 Predicate Pushdown（PPD）：简而言之，就是在不影响结果的情况下，尽量将过滤条件提前执行。谓词下推后，过滤条件在map端执行，减少 阅读全文

摘要： hadoop Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2 阅读全文

摘要： add jar /home/jasonapp/json-serde-1.3.7-jar-with-dependencies.jar; create external table if not exists dm_goddog.student( student map<string,string> c 阅读全文

摘要： 基本概念 业务板块：业务板块定义了数据仓库的多种命名空间，是一种系统级的概念对象。当数据的业务含义存在较大差异时，您可以创建不同的业务板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照业务板块进行划分。在Dataphin中，项目可以归属至业务板块以实现规范建模功能，同一个业务板块中可能包含多 阅读全文

摘要： 行业数据模型概述 分层数据模型 行业业务流程 行业主题域模型。在数据中台，主题对应一个宏观的分析领域，比如销售分析就是分析“销售”这个主题。联系较为紧密的主题的集合就是主题域。每一个行业都可以拆分为有多个（是个左右不等）主题域组成的主题域模型。 概念模型。在主题域的基础上，每个主题域内增加了实体以及 阅读全文