随笔分类 - ETL

ETL流程是数据仓库的核心组成部分，它涉及从源系统抽取数据，对数据进行转换以满足数据仓库的需求，然后将数据加载到数据仓库中。ETL代表抽取（Extract）、转换（Transform）、加载（Load），这三个步骤是数据集成的关键环节，它们共同支持数据分析和商业智能活动

DPDI：Kettle任务调度与管理的高效解决方案

摘要：DPDI：Kettle任务调度与管理的高效解决方案引言在企业大规模数据处理领域，Kettle（Pentaho Data Integration）作为一款广受欢迎的开源ETL工具，以其强大的数据处理能力和灵活性赢得了广大数据工程师的青睐。然而，Kettle在任务调度、任务管理和监控的功能较为薄弱，阅读全文

posted @ 2025-07-17 09:23 三倍镜阅读(331) 评论(0) 推荐(0)

Dispatch PDI v2.0.4即将发布，历经1000+用户装机验证，稳定版震撼来袭！

摘要：

Dispatch PDI V2.0.4版本，即将登场！亲爱的用户们：在数据调度领域的探索之路上，我们始终致力于为大家提供更强大、更高效的工具。今天，我们怀着激动的心情宣布，Dispatch PDI V2.0.4版本将于6月7日震撼发布！这不仅是一次功能的全面升级，更是我们对社区用户的一份特殊献礼阅读全文

posted @ 2025-06-04 10:08 三倍镜阅读(256) 评论(0) 推荐(0)

DPDI(Dispatch PDI)kettle调度管理平台之实际应用

摘要：案例分析：DPDI在企业中的应用案例背景某国际物流企业需频繁整合公域数据，以实现对货运全链路节点的精准跟踪。这要求企业每日运行数百个ETL任务，涵盖网页抓取、数据清洗、转换、加载至数据仓库，以及异常报表预警等复杂操作。由于任务数量庞大且彼此依赖关系错综复杂，传统手动调度方式已难以适配当前需求。实施过阅读全文

posted @ 2025-04-21 14:06 三倍镜阅读(314) 评论(0) 推荐(0)

DPDI(Dispatch PDI)kettle调度管理平台之详细功能模块解析

摘要：详细功能模块解析首页DPDI首页主要是显示任务监控信息，当一个任务（kettle作业或转换）启动后，这个任务就处于被DPDI监控状态下。首页主要展示了任务运行统计指标和任务运行趋势，任务运行统计包含四个指标：总执行任务数、执行中任务数（执行中和待执行任务）、成功任务数、失败任务数。每个指标可点击跳转阅读全文

posted @ 2025-04-21 14:05 三倍镜阅读(384) 评论(0) 推荐(0)

DPDI(Dispatch PDI)kettle调度管理平台升级预告

摘要：亲爱的DPDI用户们，久等了！Dispatch PDI全新升级，焕然一新的UI页面计划于2025.03.23正式上线。这一次，我们精心打磨每一个细节，只为给您带来前所未有的丝滑体验，让每一次浏览都成为一场愉悦的享受。 DPDI升级内容界面与交互升级 UI页面全新升级全新视觉设计，优化界面布局，带阅读全文

posted @ 2025-03-17 17:24 三倍镜阅读(275) 评论(0) 推荐(0)

DPDI(Dispatch PDI)kettle调度管理平台之实操演练第003讲-数据通途:客户端连接SQL Server的完美攻略

摘要：SQL Server简介基本概念 SQL Server是由微软公司开发的关系型数据库管理系统。它基于SQL（Structured Query Language，结构化查询语言）来管理和操作数据。SQL Server可以存储大量结构化数据，如客户信息、订单记录、库存数据等，并且能够高效地对这些数据进阅读全文

posted @ 2025-01-21 13:13 三倍镜阅读(237) 评论(0) 推荐(0)

DPDI(Dispatch PDI)kettle调度管理平台之实操演练第002讲-最强三件套之Dispatch PDI+PDI+PRD生成DPDI应用数据库数据字典

摘要：DPDI实操演练第002讲最强三件套之Dispatch PDI+PDI+PRD生成DPDI应用数据库数据字典 1.案例适用范围 Dispatch PDI资源仓库管理使用可参考 Dispatch PDI资源库目录结构设计可参考 PDI生成带样式的Excel、PDF、HTML文件可参考 PDI 阅读全文

posted @ 2024-10-31 15:50 三倍镜阅读(233) 评论(0) 推荐(0)

DPDI(Dispatch PDI)kettle调度管理平台之实操演练第001讲--手工调度本地PDI任务生成日期维度数据

摘要：DPDI实操演练第一讲 1.DPDI简介 DPDI Online 您的智能ETL任务调度专家 DPDI Online 是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计 DPDI Online 具有一下特性 多服务器多版本支持：阅读全文

posted @ 2024-10-24 16:57 三倍镜阅读(250) 评论(0) 推荐(0)

DPDI(Dispatch PDI)kettle调度管理平台发布新版本了

摘要：Dispatch PDI最新版本发布！ 🌟 我们很高兴地宣布，Dispatch PDI的全新轻量级版本现已在官网上线！这款专为高效ETL任务调度和监控设计的平台，将为您的数据处理带来前所未有的便捷。 🔧 立即下载与升级访问三倍镜官网下载最新版本。轻量版不含Kettle客户端，如需Kett 阅读全文

posted @ 2024-10-22 11:55 三倍镜阅读(235) 评论(0) 推荐(0)

DPDI(Dispatch PDI)kettle调度管理平台基础版安装部署说明

摘要：DispatchPDI下载 DPDI online部署包下载地址： Windows: http://files.pizzalord.site/api/public/dl/7Tnq6ScE/release/dpdi-community-win.zip Linux: http://files.pizza 阅读全文

posted @ 2024-09-10 17:15 三倍镜阅读(367) 评论(0) 推荐(0)

DPDI(Dispatch PDI)kettle调度管理平台升级内容

摘要：DPDI升级内容(20240815版) DPDI online部署方式定时任务优化（支持轮询机制，Cron可提示近5次运行时间）运行任务优化（支持多机器分布式运行）其它小功能优化 1. 首页可手动，定时刷新 2. 资源库导入可看到进度 3. 日志管理追踪日志时显示最新记录及高亮报错信息等阅读全文

posted @ 2024-08-15 17:32 三倍镜阅读(209) 评论(0) 推荐(0)

DPDI(Dispatch PDI)kettle调度管理平台环境部署升级

摘要：1.DPDI演示环境 DPDI online登录域名：http://dpdi.pizzalord.site 用户名：dpdi 密码：dpdi 2.DPDI下载 DPDI online部署包下载地址：http://files.pizzalord.site/share/1Oj6581v 3.DPDI部阅读全文

posted @ 2024-08-15 17:28 三倍镜阅读(257) 评论(0) 推荐(0)

DPDI(Dispatch PDI)kettle调度管理平台介绍

摘要：DPDI online产品简介 DPDI Online 是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计 DPDI Online功能特性多服务器多版本支持：无缝整合不同服务器和Kettle版本，确保任务执行兼容性和一致性联合阅读全文

posted @ 2024-08-08 10:22 三倍镜阅读(237) 评论(0) 推荐(0)

随笔分类 - ETL

公告