摘要：
ETL概念之介绍 ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL 一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽 阅读全文
摘要：
PostGIS/pgRouting管网连通性分析及最优路径规划 一、拓展安装 pgrouting依赖postgis，要先安装postgis https://github.com/pgRouting/pgrouting/wikites-on-Download%2C-Installation-and-b 阅读全文
摘要：
SQL server MERGE 语句 SQL server 的MERGE语句 等效于MySQL的on duplicate key update方法. 具体来说，MERGE语句会检查原数据表记录和目标表记录。如果记录在原数据表和目标表中均存在，则目标表中的记录将被原数据表中的记录所更新（执行Upda 阅读全文
摘要：
介绍 触发器是一种特殊的存储过程它不能被显式地调用，而是insert，update，delete之前或之后被自动地激活。所以触发器可以用来实现对表实施复杂的完整性约束，这种特性可以协助应用系统在数据库端确保数据的完整性，日志记录，数据校验等操作，通过使用别名NEW和OLD来引用触发器中发生变化的内容 阅读全文
摘要：
ETL的架构 ETL架构的优势： ETL相对于EL-T架构可以实现更为复杂的数据转化逻辑 ETL采用单独的硬件服务器,可以分担数据库系统的负载 ETL与底层的数据库数据存储无关，可以保持所有的数据始终在数据库当中，避免数据的加载和导出，从而保证效率，提高系统的可监控性。 ELT主要通过数据库引擎来实 阅读全文
摘要：
ETL转换过程 ETL探求之一中提到，ETL过程最复杂的部分就是T，这个转换过程，T过程究竟有哪些类型呢？ 宏观输入输出 从对数据源的整个宏观处理分，一个ETL过程的输入输出，可以分成下面几类： 1、大小交 这种处理在数据清洗过程是常见了，例如从数据源到ODS阶段，如果数据仓库采用维度建模，而且维度 阅读全文
摘要：
ETL 系统核心特征 数据重跑及其优化 重跑的场景 | 场景 | 导致原因 | 影响 | | | | | | kafka consumer poll消息失败 | 1. 网络问题；2. kafka broker 磁盘坏道，拉取消息一直失败或其他 kafka 原因 | 导致一个或多个topic&part 阅读全文
摘要：
ETL工具的特点 ETL本身特点在各类工具中都有所体现，下面以datastage和powermart举例来说。 1、静态的ETL单元和动态的ETL单元实例 **一次转换指明了某种格式的数据如何格式化成另一种格式的数据，对于数据源的物理形式在设计时可以不用指定，它可以在运行时，当这个ETL单元创建一个 阅读全文
摘要：
1、对查询进行优化，应尽量避免全表扫描，首先考虑在where及order by上建立索引。 2、应尽量避免在where子句中进行以下操作：对字段进行null判断；使用！=或<>操作符；使用or连接条件；使用in或not in；使用like；等号左侧使用算术运算；对字段进行函数运算等。以上操作将导致引 阅读全文
摘要：
容器技术应用 容器变得越来越重要，尤其是在云环境中，许多企业甚至在考虑将容器替代 VM 作为其应用程序和工作负载的通用计算平台 微服务：容器小巧轻便，非常适合微服务体系结构，在微体系结构中，应用程序可以由许多松散耦合且可独立部署的较小服务构成。 DevOps：微服务作为架构和容器作为平台的结合，是许 阅读全文
摘要：
1.spring核心思想 1.ioc 将对象的控制交给spring容器管理 2.aop 面向切面编程，通过切面扩展对象原本不具备的功能。 2.spring包目录结构以及模块划分 Spring框架是一个分层架构，它包含一系列的功能要素，并被分为大约20个模块，如下图所示： 从上图sprin 阅读全文