星朝 - 博客园

2020年1月11日

六种主流ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldengate)

摘要：比较维度\产品DataPipelinekettleOracle GoldengateinformaticatalendDataX 设计及架构适用场景主要用于各类数据融合、数据交换场景，专为超大数据量、高度复杂的数据链路设计的灵活、可扩展的数据交换平台面向数据仓库建模传统ETL工具主要用于数据阅读全文

posted @ 2020-01-11 09:20 星朝阅读(2947) 评论(0) 推荐(0)

ETL之增量抽取方式

摘要： 1、触发器方式触发器方式是普遍采取的一种增量抽取机制。该方式是根据抽取要求，在要被抽取的源表上建立插入、修改、删除3个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个增量日志表，ETL的增量抽取则是从增量日志表中而不是直接在源表中抽取数据，同时增量日志表中抽取过的数据要及时被阅读全文

posted @ 2020-01-11 09:16 星朝阅读(1571) 评论(0) 推荐(0)

2020年1月10日

github 项目搜索技巧-让你更高效精准地搜索项目

摘要：目录 github 搜索技巧案例普通搜搭配技巧搜限定词查找某个用户或组织的项目辅助限定词还没搞懂的（关于 forks、mirror、issues）排序（放的是官网的链接）使用指南练习案例 github 搜索技巧参考自 B站 up 主 CodeSheep 的视频【如何高效地在网上阅读全文

posted @ 2020-01-10 14:01 星朝阅读(1528) 评论(0) 推荐(0)

2020年1月9日

MySQL中的各种引擎

摘要：数据库中的存储引擎其实是对使用了该引擎的表进行某种设置，数据库中的表设定了什么存储引擎，那么该表在数据存储方式、数据更新方式、数据查询性能以及是否支持索引等方面就会有不同的“效果”。在MySQL数据库中存在着多种引擎（不同版本的MySQL数据库支持的引擎不同），熟悉各种引擎才能在软件开发中应用引擎，阅读全文

posted @ 2020-01-09 15:21 星朝阅读(1215) 评论(0) 推荐(0)

分布式事务系列--分布式跨库查询解决方案 mysql federated引擎的使用

摘要： <! flowchart 箭头图标勿删背景在服务高度拆分，数据库不断细化切分的情况下，我们经常有连接多台数据库查询的需求，如果不断的把数据库连接的逻辑添加在代码中，那么这种耦合会越来越严重，这会给程序的拓展和维护带来很大的麻烦。 mysql的federated引擎，可以在本地创建远程数据库的映阅读全文

posted @ 2020-01-09 15:14 星朝阅读(2353) 评论(0) 推荐(0)

【MySQL】跨库join

摘要： <! flowchart 箭头图标勿删目标：数据库A中的表可以join数据库B中的表。环境：Windows系统，免安装版mysql 5.7.22。需求：数据库中表很多，将表按业务划分到不同的数据库，保存表之间必要的关联关系。一、开启FEDERATED引擎执行命令：SHOW ENGINES 阅读全文

posted @ 2020-01-09 15:05 星朝阅读(1560) 评论(0) 推荐(0)

实操手册：如何玩转跨库Join？跨数据库实例查询应用实践

摘要：一、背景随着业务复杂程度的提高、数据规模的增长，越来越多的公司选择对其在线业务数据库进行垂直或水平拆分，甚至选择不同的数据库类型以满足其业务需求。原本在同一数据库实例里就能实现的SQL查询，现在需要跨多个数据库实例才能完成。业务的数据被“散落”在各个地方，如何方便地对这些数据进行汇总关联查询，已经阅读全文

posted @ 2020-01-09 15:04 星朝阅读(1350) 评论(0) 推荐(0)

实现数据库的跨库join

摘要：功能需求首先要理解原始需求是什么，为什么要跨库join。举个简单的例子，在日志数据库log_db有一份充值记录表pay_log，里面的用户信息只有一个userid；而用户的详细信息放在主库main_db，里面有用户的详细信息表user_info，如用户名、登录时间、注册时间、会员等级等等。如果只阅读全文

posted @ 2020-01-09 15:03 星朝阅读(1766) 评论(0) 推荐(0)

微服务改造中解决跨库问题的思路

摘要：今年一直在和团队做微服务的架构改造（相关的一些详情，有兴趣的朋友，可以参见之前的这篇分享）。但是做过改造的朋友都知道从“All In One” 到 “Micro Service” 都需要迈过的一个坎，那就是垂直分库, 根据不同的子服务，将数据库拆分为不同的子服务库。那么问题就来了，在阅读全文

posted @ 2020-01-09 15:02 星朝阅读(3386) 评论(0) 推荐(1)

2020年1月7日

从jar包中加载feignClient

摘要：问题有些公共的组件抽出来其他模块的maven依赖，此时要在使用的项目中加载此jar包的spring component以及feign组件，仅仅依靠@ComponentScan是不够的，还需要在@EnableFeignClients(basePackages = {"com.xixicat"})中标阅读全文

posted @ 2020-01-07 16:40 星朝阅读(2077) 评论(0) 推荐(0)

星朝

公告