海豚调度 - 博客园

2024年11月

推动企业数字化转型的三驾马车：DataOps与DevOps、MLOps的关系及其重要性

摘要：在当今快速发展的技术领域，DevOps、DataOps和MLOps成为了推动企业数字化转型的三大核心实践。它们各自关注不同的领域，但又相互关联，共同推动着软件和数据的高效开发与运营。 DevOps：软件开发的加速器 DevOps是一种将开发（Development）和运营（Operations）结合阅读全文

posted @ 2024-11-08 10:19 海豚调度阅读(102) 评论(0) 推荐(0)

Apache DolphinScheduler将上游Task执行结果传递给下游

摘要： 01 背景公司的数据开发平台需要用到DolphinScheduler做任务调度，其中一个场景是：上游任务执行结束后，需要将任务执行结果传递给下游任务。 DolphinScheduler肯定是能实现任务之间的传参的，具体的可以看：DolphinScheduler | 文档中心 (https://do 阅读全文

posted @ 2024-11-07 16:37 海豚调度阅读(570) 评论(0) 推荐(0)

Apache DolphinScheduler + OceanBase，搭建分布式大数据调度平台的实践

摘要：本文整理自白鲸开源联合创始人，Apache DolphinScheduler PMC Chair，Apache Foundation Member 代立冬的演讲。主要介绍了DolphinScheduler及其架构、DolphinScheduler与OceanBase 的联合大数据方案。 Dolphi 阅读全文

posted @ 2024-11-07 13:56 海豚调度阅读(447) 评论(0) 推荐(0)

DolphinScheduler集成Arthas实现接口调用监控，提升调度任务可靠性

摘要：本文介绍了在Apache DolphinScheduler中嵌入Arthas的方法，以实现对接口调用的监控。Arthas是一款强大的 Java诊断工具，能够帮助开发者实时查看应用程序的运行状态、性能瓶颈和方法调用情况。在DolphinScheduler中集成Arthas，可以方便地捕获任务调度时的关阅读全文

posted @ 2024-11-06 10:39 海豚调度阅读(160) 评论(0) 推荐(0)

2024年10月

每日互动基于 Apache DolphinScheduler 从容应对ClickHouse 大数据入库瓶颈

摘要：引言大家好，我叫张琦，来自每日互动，担任大数据平台架构师。今天我将分享我们团队在基于Apache DolphinScheduler实现ClickHouse零压入库过程中的实践经验。这个实践项目涉及到两个关键组件：Apache DolphinScheduler和ClickHouse，主要是我们在实阅读全文

posted @ 2024-10-31 15:16 海豚调度阅读(293) 评论(0) 推荐(0)

手把手教你部署Apache DolphinScheduler —— 钉钉告警

摘要：在之前的文章中，我们已经介绍了Apache DolphinScheduler海豚调度的基本概念和工作流程，以及Shell任务和SQL任务的实践。感兴趣的朋友可以下滑到最下面，点击感兴趣的文章阅读！今天，让我们来学习Apache DolphinScheduler中的另一个重要功能：钉钉告警。钉钉群阅读全文

posted @ 2024-10-29 17:46 海豚调度阅读(391) 评论(0) 推荐(0)

如何实现Dolphinscheduler YARN Task状态跟踪？

摘要：背景 Dolphinscheduler针对YARN任务，比如说MR、Spark、Flink，甚至是Shell任务，最初都是会判断如果有YARN任务，解析到applicationId。这样就会不单单以判断客户端进程为单一判断依据，还要根据YARN状态进行最终的Dolphinscheduler任务状态判阅读全文

posted @ 2024-10-28 14:34 海豚调度阅读(245) 评论(0) 推荐(0)

数据集成的未来：一文搞懂 EtLT 新技术的崛起

摘要：前瞻性技术通常具有创新性，并受到早期采用者的欢迎，从而提供一定的商业价值。说到数据集成，有人可能会质疑这有什么好讨论的——这不就是简单的 ETL 吗？从各种数据库中提取数据，进行转换，最后加载到不同的数据仓库中。随着大数据、数据湖、实时数仓、大规模模型等的兴起，数据集成架构从数据仓库时代的ETL 阅读全文

posted @ 2024-10-25 09:54 海豚调度阅读(255) 评论(0) 推荐(0)

深入解析Apache DolphinScheduler容错机制

摘要：简述 Apache Dolphinscheduler Master和Worker都是支持多节点部署，无中心化的设计。 Master主要负责是流程DAG的切分，最终通过RPC将任务分发到Worker节点上以及Worker上任务状态的处理 Worker主要负责是真正任务的执行，最后将任务状态汇报给Mas 阅读全文

posted @ 2024-10-22 10:45 海豚调度阅读(432) 评论(0) 推荐(0)

TB 级数据入库无压力：Apache DolphinScheduler 助力 ClickHouse 优化

摘要：引言 🚀 如今，随着大数据、物联网、人工智能等技术的快速发展，数据量呈现指数级增长。企业迫切需要一个既能快速处理大规模数据，又能保障性能稳定的数据库系统。ClickHouse 在数据分析与查询性能方面表现优异，但随着数据规模不断增长，其在数据写入与合并阶段的瓶颈也日渐凸显。不少企业尝试通过简单的阅读全文

posted @ 2024-10-18 11:47 海豚调度阅读(208) 评论(0) 推荐(0)

公告