大数据应用建设开源工具-update2019-07

大数据应用建设开源工具

作业调度工具

Hera 分布式任务调度系统

hera项目地址

hera 分布式任务调度系统 大数据任务调度系统 任务调度 (数据部门专用)

hera分布式任务调度系统是根据前阿里开源调度系统(zeus)进行的二次开发,其中zeus大概在2014年开源,开源后却并未进行维护。我公司(二维火)2015年引进了zeus任务调度系统,一直使用至今年11月份,在我们部门乃至整个公司发挥着不可替代的作用。在我使用zeus的这一年多,不得不承认它的强大,只要集群规模于配置适度,他可以承担数万乃至十万甚至更高的数量级的任务调度。但是由于zeus代码是未维护的,前端更是使用GWT技术,难于在zeus上面进行维护。我与另外一个小伙伴(花名:凌霄,现在阿里淘宝部门)于今年三月份开始重写zeus,改名赫拉(hera)。

EasyScheduler 工作流调度系统

EasyScheduler项目地址

EasyScheduler项目文档

Easy Scheduler是一个工作流调度系统,主要解决数据研发ETL 错综复杂的依赖关系,而不能直观监控任务健康状态等问题。Easy Scheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。

精益化运营工具

易观方舟

易观方舟Argo社区

易观方舟Argo

易观方舟Argo,是一款私有化部署、开放且免费的用户分析和精益运营产品.
主要面向产品刚刚起步、数据量较小、有自己动手能力的技术和产品创新团队或个人.
支持私有化部署,包含数据分析、用户分群、闭环运营,最大程度满足使用需求.
使你的企业快速、低成本搭建起一套支持秒级查询百亿数据的数据智能平台.
投入更少的研发资源、时间和维护成本,获得易用性优秀的用户数据分析产品

posted @ 2019-09-18 10:10  大数据-大道至简  阅读(383)  评论(0编辑  收藏  举报
知识共享许可协议
本作品采用知识共享署名-非商业性使用-禁止演绎 3.0 未本地化版本许可协议进行许可。