• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录

国产ETL工具 & 数据复制工具 自2004年~

  • 博客园
  • 联系
  • 订阅
  • 管理

公告

2024年6月21日

为什么要用专业国产化ETL工具 而非开源&包装

摘要: ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。如果数据转换的频率或者要求不高可以手动实现ETL的功能;反之,如果对数据转换的要求比较高的话,就需要专门的ETL工具. 功能特性 阅读全文

posted @ 2024-06-21 18:50 changchengchang 阅读(72) 评论(0) 推荐(0)

2023年6月28日

开放式ETL产品 是 信创国产化替代 "标配"

摘要: 信创国产化通俗来讲,就是在核心芯片、基础硬件、操作系统、中间件、数据服务器等领域实现信创产业的国产替代。ETL技术 属于基础软件类中间件技术。发展自己研制的安全可靠的能够保证国家信息安全的设备,随着信息安全问题日益突出,信息安全已上升至国家战略。自主可控,国产化替代已成为历史趋势。随着外部环境日益复 阅读全文

posted @ 2023-06-28 18:37 changchengchang 阅读(247) 评论(0) 推荐(0)

2023年2月9日

双向同步&实时同步&日志解析同步&断点续传之集团财务集中审核平台 应用-国产ETL工具BeeDI 产品

摘要: 65分公司财务数据实时同步汇总中心平台🔛中心平台财务数据实时同步分发65分公司 项目需求 概要: 65家分公司数据中部分表数据同步到中心库对应表,10张表分公司表年数据量在100W内,各系统之间网络TCP偶尔断网情况,需要将部分表同步,表中有日期字段,各地分公司服务器有时间差异,优先同步机制选用  阅读全文

posted @ 2023-02-09 17:19 changchengchang 阅读(67) 评论(0) 推荐(0)

2022年9月7日

ETL工具— C/S 架构 数字基建 “安全” 保驾护航

摘要: 数字基建 “安全” 保驾护航 C/S架构 ——Beeload&BeeDI产品十八年功底 从系统软件(操作系统、数据库)、中间件、应用软件、安全软件...... 重中之重的安全、可靠、稳定性,必须 C/S 架构 给予重任! 纵观数据基建之中间件,ETL 工具各厂商基于架构类型参考如下: C/S 架构 阅读全文

posted @ 2022-09-07 13:48 changchengchang 阅读(109) 评论(0) 推荐(0)

2022年8月13日

国产ETL工具 BeeDI 产品 应用 全国连锁到集团中心

摘要: 项目现状&需求概要 项目整体目标:将全国千家医院数据,每日实时同步到集团中心库,必备数据报表、数据挖掘... 项目现状:物理机&虚拟机都有 涉及类数据库类型:SQLSERVER\ORACLE 涉及千家医院类业务系统,各业务系统或通畅,或跳板机 历史数据量 亿级,日增数据量 百万~千万级 ,选择部分表 阅读全文

posted @ 2022-08-13 09:49 changchengchang 阅读(230) 评论(0) 推荐(0)

2022年8月9日

国产 etl 工具源自2004年~ (非包开源,自研核心)

摘要: 国产 ETL工具Beeload 之公安管控系统中心需求拓扑 1、 产品概述 原产地 中国 北京, ETL工具-数据整合软件Beeload V1.0 自2004年发布 持续升级至今 V8.0。其 集数据抽取、清洗、转换及装载于一体,通过标准化企业各个业务系统产生的数据,向数据仓库提供高质量的数据,从而 阅读全文

posted @ 2022-08-09 22:47 changchengchang 阅读(226) 评论(0) 推荐(0)

2022年2月28日

开源Kettle &包装Kettle 深度功能缺陷

摘要: 开源Kettle &包装Kettle 深度功能缺陷 Kettle 是业界开源ETL工具中,知名度最高且被引进各行业项目应用最早期。上线后 当下如何了?“天下免费的午餐”真的香吗? 以下是各用户早期上线后,深度使过其功能缺陷问题导致不能满足目前业务场景,如有以下需求,请谨慎启用开源工具。开启此类项目需 阅读全文

posted @ 2022-02-28 15:57 changchengchang 阅读(309) 评论(0) 推荐(0)

2021年5月27日

应对海量图片(15T~)数据同步

摘要: 灵蜂ETL工具产品 BeeDI 应对海量(15T~)图片数据同步解决方案: 一、完成数据同步需要2个过程: 1、历史数据同步——2、实时增量同步 二、环境、数据量级 主库环境:Oracle RAC+ASM,内存64G 从库单实例环境:内存192G 历史数据 19T 日增归档100G 主库包含 15T 阅读全文

posted @ 2021-05-27 17:30 changchengchang 阅读(160) 评论(0) 推荐(0)

2021年2月2日

实时数据同步 ETL工具精髓

摘要: 一、作用 提供“实时”的企业数据集成 在建数据仓库、大数据中心(数据中台)实现数据实时处理和传递运营数据的价值时……先期必须进行数据汇总、数据抽取、数据分发、数据清洗、数据过滤、数据转换、数据共享…… 都面临从各复杂业务数据库中“实时”数据集成的首要解决方案——从更广泛的方面(而不只是数据仓库、数据 阅读全文

posted @ 2021-02-02 22:11 changchengchang 阅读(1530) 评论(0) 推荐(0)

2020年9月30日

数据库日志复制技术方案三(单向、半双工双向、全双工双向)

摘要: 数据库容灾也称数据库双活、数据库复制,即在本地或异地部署一个与生产库完全相同的灾备数据库,当生产库由于各种原因(错误操作、系统软件错误、病毒、硬件故障、断电、火灾、地震等)发生故障时,灾备数据库可以立刻接管原有应用,对外正常提供服务。进行数据库容灾需要考虑以下问题: 1、 本地容灾还是异地容灾,异地 阅读全文

posted @ 2020-09-30 18:13 changchengchang 阅读(556) 评论(0) 推荐(0)

下一页
 
博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3