06 2022 档案

Restcloud ETl数据通过时间戳实现增量数据同步
摘要：1、新增数据源 2、将表输入节点拖拽到流程图里面 3、表输入节点的配置，配置时间戳，通过时间戳来实现增量数据同步 4、将表输出节点拖拽到流程图 5、表输出节点的配置 6、将节点组件用直线连接起来 7、运行流程 阅读全文
posted @ 2022-06-30 16:02 谷云科技RestCloud 阅读(165) 评论(0) 推荐(0)
RestCloud ETL实践之无标识位实现增量数据同步
摘要：步骤1: 从平台首页进入数据源管理 步骤2: 新建数据源 步骤3：选择需要连接的数据源类型 步骤4：填写数据源相关配置 步骤5: 测试连接数据库 步骤6: 从平台首页进入数据集成开发模块 步骤7: 新建应用 步骤8:进入新创建或者已有的应用 步骤9: 新增流程 步骤10: 点击流程设计进入流程设计界 阅读全文
posted @ 2022-06-29 15:03 谷云科技RestCloud 阅读(141) 评论(0) 推荐(0)
Restcloud ETL实践之数据行列转换
摘要：RestCloud ETL社区版是一款数据集成工具，提供可视化多数据管道构建、数据源管理、运行监控及权限管理功能。 本篇将使用多行转多列的方式把下方图中的表数据进行简化。 简化思路：把相同姓名中不同的学科成绩转成列名，将数据库中三行数据转变成一行数据显示。 首先是流程设计 这里使用了三个组件，分别是 阅读全文
posted @ 2022-06-28 16:35 谷云科技RestCloud 阅读(106) 评论(0) 推荐(0)
RestCloud ETL WebService数据同步到本地
摘要：企业里面有很多业务系统只能提供WebService接口如SAP等，还有一些SaaS系统也只提供WebService的接口如Workday等，对于这些系统的数据我们可以使用ETL工具进行调用然后把XML中的数据进行解析后存储到数据库中或者同步到本地的其他业务系统中，使用RestCloud ETL工具只 阅读全文
posted @ 2022-06-27 11:06 谷云科技RestCloud 阅读(115) 评论(0) 推荐(0)
RestCloud ETL抽取动态库表数据实践
摘要：RestCloud ETL社区版是一款数据集成工具，提供可视化多数据管道构建、数据源管理、运行监控及权限管理功能。 1.场景说明： 对于一些业务系统每天运行自动产生一张新数据表，希望通过1条数据流程每天自动读取当天的数据表。如2022年6月1日产生表名称为“table_20220601”,2022年 阅读全文
posted @ 2022-06-24 18:03 谷云科技RestCloud 阅读(378) 评论(0) 推荐(0)
使用RestCloud ETL Shell组件实现定时调度DataX离线任务
摘要：RestCloud ETL社区版是一款数据集成工具，提供可视化多数据管道构建、数据源管理、运行监控及权限管理功能。 1.场景说明： 对于一些已经在使用阿里的离线数据同步工具DataX的用户，想实现每天定时运行（或手动运行）job任务是非常困难的，都需要进入控制界面敲命令行，有没有更简单、快捷的方法呢 阅读全文
posted @ 2022-06-22 17:17 谷云科技RestCloud 阅读(248) 评论(0) 推荐(0)
ETL过程中数据精度不准确问题
摘要：最近一位同学在使用Restcloud ETL产品做数据集成，出现数据传输到目标库表后，数据精度不准确问题。 场景为：从oracle源表数据 格式为：number(21,6)将数据同步到mysql目标表数据格式为：float(21,6) ; 同步数据 发现 oracle是：538121.47 同步到m 阅读全文
posted @ 2022-06-21 11:01 谷云科技RestCloud 阅读(121) 评论(0) 推荐(0)
RestCloud ETL与Kettle对比分析
摘要：RestCloud ETL和Kettle都有什么优势和劣势? 我们从平台架构、平台管理、监控分析、数据组件、数据传输、平台性能进行比较如下： 阅读全文
posted @ 2022-06-20 16:00 谷云科技RestCloud 阅读(168) 评论(0) 推荐(0)
Restcloud 6·18 社区活跃用户获奖名单公布
摘要：【6·18社区活跃度评选】的获奖名单新鲜出炉 大家快来看看自己有没有上榜呀~没想到吧！！在疯狂购物的同时还能收到RestCloud为社区的活跃用户准备的6·18神秘小礼品！ 本次入选幸运儿评审标准：6月份活跃度排名前20名用户！恭喜以上的小伙伴们获奖，扫码进社区交流心得呀~ 阅读全文
posted @ 2022-06-18 18:36 谷云科技RestCloud 阅读(39) 评论(0) 推荐(0)
异构数据库间批量表快速复制
摘要：数据源管理 1.进入数据源管理 2. 新建数据源 3.选择需要连接的数据源类型 4.填写数据源相关配置 5.测试连接数据库 数据集成开发 1.登录成功后系统进入平台的首页。 2.创建应用 3.进入新创建或者已有的应用 4.点击应用配置－流程分类设置－新增分类 5.点击数据处理流程－新增流程 6.点击 阅读全文
posted @ 2022-06-17 17:07 谷云科技RestCloud 阅读(49) 评论(0) 推荐(0)
Restcloud新手小白使用感受
摘要：Restcloud新手小白使用感受 版本：Restcloud ETL 社区版V1.1.0 搞了几年的运维工作，中间陆陆续续因为公司各系统不够完善，但是用户的各种报表需求又不能拒绝，最后的产生结果就是在一个oracle数据库做各种数据库的dblink做数据同步，存储过程多的令人发指，既不能可视化的管理 阅读全文
posted @ 2022-06-16 16:35 谷云科技RestCloud 阅读(194) 评论(0) 推荐(0)
Docker部署RestCloud ETL社区
摘要：镜像说明 nriet/restcloud:latest version：1.3.0 os：slim-buster tomcat：基于官方镜像 tomcat:8.5.78-jdk8-openjdk-slim-buster jdk：openjdk-1.8.0_332 python： 无 other：中文 阅读全文
posted @ 2022-06-15 17:07 谷云科技RestCloud 阅读(303) 评论(0) 推荐(0)
使用RestCloud ETL强大的自定义规则实现自定义数据处理算法
摘要：使用RestCloud ETL强大的自定义规则实现自定义数据处理算法实时数据处理规则有什么作用？ 在大数据中的实时数据采集、ETL批量数据传输过程中很多数据处理过程以及数据质量都希望实时进行处理和检测并把不符合要求的脏数据过滤掉或者进行实时的数据质量告警等。 在数据仓库建设过程中，每家企业的数据处理过程中肯定会有一些自身的数据处理特点如学号的处理、车牌号的处理、身份 阅读全文
posted @ 2022-06-10 22:05 谷云科技RestCloud 阅读(229) 评论(0) 推荐(0)
通过Web ETL统一调度和管理DataX任务
摘要：通过Web ETL统一调度和管理DataX任务DataX是一款功能强大的数据集成平台，但是其无WEB管理界面使得DataX任务在管理与调度方面存在不少问题，任务多了后很难管理和维护，同时使用和学习成本也比较高。今天就介绍下用RestCloud ETL怎么来快速的管理和调度DataX任务，通Web界面即可以方便的调度DataX的任务，增强Data 阅读全文
posted @ 2022-06-09 19:05 谷云科技RestCloud 阅读(318) 评论(0) 推荐(0)