摘要： ETL 系统核心特征 数据重跑及其优化 重跑的场景 | 场景 | 导致原因 | 影响 | | | | | | kafka consumer poll消息失败 | 1. 网络问题；2. kafka broker 磁盘坏道，拉取消息一直失败或其他 kafka 原因 | 导致一个或多个topic&part 阅读全文

摘要： ETL工具的特点 ETL本身特点在各类工具中都有所体现，下面以datastage和powermart举例来说。 1、静态的ETL单元和动态的ETL单元实例 **一次转换指明了某种格式的数据如何格式化成另一种格式的数据，对于数据源的物理形式在设计时可以不用指定，它可以在运行时，当这个ETL单元创建一个 阅读全文

摘要： ETL概念之介绍 ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL 一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽 阅读全文

摘要： 1、对查询进行优化，应尽量避免全表扫描，首先考虑在where及order by上建立索引。 2、应尽量避免在where子句中进行以下操作：对字段进行null判断；使用！=或<>操作符；使用or连接条件；使用in或not in；使用like；等号左侧使用算术运算；对字段进行函数运算等。以上操作将导致引 阅读全文

摘要： 容器技术应用 容器变得越来越重要，尤其是在云环境中，许多企业甚至在考虑将容器替代 VM 作为其应用程序和工作负载的通用计算平台 微服务：容器小巧轻便，非常适合微服务体系结构，在微体系结构中，应用程序可以由许多松散耦合且可独立部署的较小服务构成。 DevOps：微服务作为架构和容器作为平台的结合，是许 阅读全文

摘要： 1.spring核心思想 1.ioc ​ 将对象的控制交给spring容器管理 2.aop ​ 面向切面编程，通过切面扩展对象原本不具备的功能。 2.spring包目录结构以及模块划分 ​ Spring框架是一个分层架构，它包含一系列的功能要素，并被分为大约20个模块，如下图所示： 从上图sprin 阅读全文

摘要： TiDB与MySQL兼容性对比 TiDB支持MySQL传输协议及其绝大多数的语法。这意味着您现有的MySQL连接器和客户端都可以继续使用。 大多数情况下您现有的应用都可以迁移至 TiDB，无需任何代码修改。 当前TiDB服务器官方支持的版本为MySQL 5.7。大部分MySQL运维工具（如PHPMy 阅读全文

摘要： 编程规约 方法参数类型必须一致，不要出现自动装箱拆箱操作 2.1.1.1 反例 这种操作很容易产生难以排查的NPE异常 /** * 反例 * 容易出现空指针异常，如果参数为null就会拆箱失败空指针错误 * 排查的时候很难排查，因为直接看代码看起来不会出现空指针的。 * @param value * 阅读全文

摘要： 自动配置：根据我们添加的jar包依赖，会自动将一些配置类的bean注册进ioc容器，我们可以需要的地方使用@Autowired或者@Resource等注解来使用它。 问题：Spring Boot到底是如何进行自动配置的，都把哪些组件进行了自动配置？ Spring Boot应用的启动入口是@Sprin 阅读全文

摘要： SpringBoot主要特性 1、 SpringBoot Starter：他将常用的依赖分组进行了整合，将其合并到一个依赖中，这样就可以一次性添加到项目的Maven或Gradle构建中； 2、 使编码变得简单，SpringBoot采用 JavaConfig的方式对Spring进行配置，并且提供了大量 阅读全文