上一页 1 ··· 27 28 29 30 31 32 33 34 35 ··· 46 下一页
摘要: Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的,但是在用户层面、技术层面都存在一些痛点问题难以被解决。比如在用户层面缺少任务可视化编辑界面、补数等必要功能,导致用户上手难体验差。在技术层面,架构过时,持续迭代难度大。基于这些情况,经过竞品对比和调研后,Fordeal数据平台新 阅读全文
posted @ 2022-06-20 12:06 海豚调度 阅读(650) 评论(0) 推荐(0)
摘要: 当大数据挖掘成为企业赖以生存、发展乃至转型的生命,如何找到一款好软件帮助企业满足需求,成为了许多大数据工程师困扰的问题。但在当下高速发展的大数据领域,光是一款好软件似乎都不足以满足所有场景业务需求,许多企业逐渐将目光转向了技术生态的“外延”——即结合各种场景打造企业适用的技术架构。 那该如何才能打造 阅读全文
posted @ 2022-06-17 14:25 海豚调度 阅读(76) 评论(0) 推荐(0)
摘要: 本周伊始,Apache DolphinScheduler 项目在 GitHub 上的 Github Star 总数首次突破 8K。目前,Apache DolphinScheduler 社区已经拥有 Contributor 345+,fork 数 3k+,社区发展呈现出一片欣欣向荣。 既 Apache 阅读全文
posted @ 2022-06-16 17:05 海豚调度 阅读(127) 评论(0) 推荐(0)
摘要: 大家下午好,我是来自当贝网络科技大数据平台的基础开发工程师 王昱翔,感谢社区的邀请来参与这次分享,关于 Apache DolphinScheduler 在当贝网络科技大数据环境中的应用。 本次演讲主要包含四个部分: 平台建设的背景 大数据平台重构 大数据调度平台建设 下一步规划 王昱翔 当贝大数据平 阅读全文
posted @ 2022-06-15 17:32 海豚调度 阅读(478) 评论(0) 推荐(0)
摘要: 导读:近日,Apache Dolphin Scheduler 迎来了 3.0.0-beta-1 版本的正式发布。新版本主要针对 3.0.0-alpha 进行了代码和文档的修复,并引入了部分的功能,如支持 FlinkSQL 任务类型,新增 Zeppelin 任务类型,新增 Kubernetes nam 阅读全文
posted @ 2022-06-15 15:54 海豚调度 阅读(308) 评论(0) 推荐(0)
摘要: 在软件开发领域有一个流行的原则:Don’t Repeat Yourself(DRY),翻译过来就是:不要重复造轮子。而开源项目最基本的目的,其实就是为了不让大家重复造轮子。 尤其是在大数据这样一个高速发展的领域,现在各类企业都有使用大量的开源软件,当发现开源项目不能满足场景业务需求的时候,越来越多的 阅读全文
posted @ 2022-06-06 14:10 海豚调度 阅读(143) 评论(0) 推荐(0)
摘要: 作者 | 欧阳涛 招联金融大数据开发工程师 02 Master启动流程 2.10 WorkFlowExecutorThread 里执行 Submit StandByTask 方法 SubmitStandByTask干了5件事情: 从ReadyToSubmitTaskQueue中取出TaskInsta 阅读全文
posted @ 2022-05-25 17:00 海豚调度 阅读(543) 评论(0) 推荐(0)
摘要: 当今许多企业都有着技术架构的DataOps程度不够、二次开发成本高、迁移成本高、集群部署混乱等情况,团队在技术选型之后发现并不适合自己的需求,但是迁移成本和难度又比较大,甚至前团队还留下了不少坑,企业自有的开发能力又比较有限,导致后面的小伙伴上手难度高体验差。 俗话说“工具选得好,下班回家早;调度用 阅读全文
posted @ 2022-05-25 10:29 海豚调度 阅读(196) 评论(0) 推荐(0)
摘要: 02 Master启动流程 2.1 MasterServer的启动 在正式开始前,笔者想先鼓励一下大家。我们知道启动Master其实就是启动MasterServer,本质上与其他SpringBoot项目相似,即启动里面的main函数。但想要开始实操前,肯定有不少的人,尤其是初学者会突然发现这里面有十 阅读全文
posted @ 2022-05-19 17:34 海豚调度 阅读(301) 评论(0) 推荐(0)
摘要: 在新网银行,每天都有大量的任务实例产生,其中实时任务占据多数。为了更好地处理任务实例,新网银行在综合考虑之后,选择使用 Apache DolphinScheduler 来完成这项挑战。如今,新网银行多个项目已经完成了实时与准实时的跑批,指标管理系统的离线跑批,应用于离线数据开发和任务调度、准实时数据 阅读全文
posted @ 2022-05-17 14:18 海豚调度 阅读(497) 评论(0) 推荐(0)
上一页 1 ··· 27 28 29 30 31 32 33 34 35 ··· 46 下一页