摘要：
一、为什么需要垃圾回收 如果不进行垃圾回收，内存迟早都会被消耗空，因为我们在不断的分配内存空间而不进行回收。除非内存无限大，我们可以任性的分配而不回收，但是事实并非如此。所以，垃圾回收是必须的。 二、哪些内存需要回收？ 哪些内存需要回收是垃圾回收机制第一个要考虑的问题，所谓“要回收的垃圾”无非就是那 阅读全文
posted @ 2020-04-06 18:19
石棠
阅读(178)
评论(0)
推荐(0)
摘要：
本文重点介绍了如何根据业务过程来定义原子指标，根据原子指标和修饰词的结合来定义相关派生指标，同时做好指标的规范命名。 1. 背景介绍 指标是指将业务单元细分后量化的度量值，它使得业务目标可描述、可度量、可拆解。而指标体系的搭建是最为重要的，将直接影响「产生→处理→存储→计算→应用」的全流程。而在实际 阅读全文
posted @ 2020-04-06 18:06
石棠
阅读(809)
评论(0)
推荐(0)
摘要：
注1：Apache Solr 是一个开源的搜索服务器。Solr 使用 Java 语言开发，主要基于 HTTP 和 Apache Lucene 实现。独立搜索服务，可部署集群，并可以以服务的方式注册到Zookeeper中。 注2：Maven是一个采用纯Java编写的开源项目管理工具。SHOPJSP j 阅读全文
posted @ 2020-04-06 17:57
石棠
阅读(206)
评论(0)
推荐(0)
摘要：
目录 1. ODS 数据准备层 2. DWD 数据明细层 3. DW(B/S) 数据汇总层 4. DM 数据集市层 5. ST 数据应用层 解码OneData，阿里的数仓之路 1. ODS 数据准备层 功能：ODS层是数据仓库准备区，为DWD层提供基础原始数据，可减少对业务系统的影响 建模方式及原则 阅读全文
posted @ 2020-04-06 17:50
石棠
阅读(7565)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2020-04-06 17:41
石棠
阅读(313)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2020-04-06 17:38
石棠
阅读(236)
评论(0)
推荐(0)
摘要：
第一课： 思维 感知 行动 的模型约束条件 代数 记号 符号 命名方法 技术 程序 算法 表示 生成测试法包括：生成一些可能的值 生成器 分类整理信息强有力的思想：Rumpelstiltskin原则：给某种事物命名后，你就对他拥有了力量。命名事物的力量，符号标记让我们对概念拥有力量。画状态图ADA 阅读全文
posted @ 2020-04-06 17:36
石棠
阅读(302)
评论(0)
推荐(0)
摘要：
一 简介 Apache Sqoop（TM）是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据的工具 。 官方下载地址：http://www.apache.org/dyn/closer.lua/sqoop/1.4.7 1. Sqoop是什么 Sqoop：SQL- 阅读全文
posted @ 2020-04-06 17:29
石棠
阅读(775)
评论(0)
推荐(0)
摘要：
OGG架构 在一个典型的OGG环境中，会有两个数据库存在，同时也会有两个GG实例运行，主要包括四个核心对象:源数据库、目标数据库、源GG、目标GG。数据复制运行流程大概如下：源数据库在运行过程中，LGWR进程会源源不断地把日志记录到联机日志中（online log)。源GG的工作起点或者整个GG数据 阅读全文
posted @ 2020-04-06 17:21
石棠
阅读(1237)
评论(0)
推荐(0)
摘要：
抽取处理需要重点考虑增量抽取，也被称为变化数据捕获，简称CDC。假设一个数据仓库系统，在每天夜里的业务低峰时间从操作型源系统抽取数据，那么增量抽取只需要过去24小时内发生变化的数据。变化数据捕获也是建立准实时数据仓库的关键技术。 当你能够识别并获得最近发生变化的数据时，抽取及其后面的转换、装载操作显 阅读全文
posted @ 2020-04-06 17:16
石棠
阅读(1914)
评论(0)
推荐(0)
浙公网安备 33010602011771号