Linkis数据处理实战_ApacheCon_Asia演讲稿

背景

从事大数据开发，参与Linkis社区建设很长时间了，Beam 和 Hive Hook 血缘 搭建大数据平台

缺点

没有统一外部访问，形式比较单一
开发成本比较高，新手不容易扩展
元数据访问复杂

架构

选型

Apache Livy是一种通过REST接口与Spark集群轻松交互的服务。
Apache Zeppelin Web 的交互式数据分析 Notebook，聚焦于“扩展”能力
Netflix Geine 它是分布式作业编排引擎，聚焦于“管控”能力。强大的标签体系，支持按需路由作业到不同的 Hadoop 集群。
openLooKeng 它是一款高性能数据虚拟化引擎，提供统一 SQL 接口，具备跨数据源 / 数据中心分析能力。

Apache Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。

Linkis 构建解耦计算中间件层，具备连接、扩展、管理、编排和复用能力
金融级别框架，考虑情况比较综合。

• 计算治理服务，支持计算任务/请求处理流程的3个主要阶段:提交->准备->执行;
• 公共增强服务，包括上下文服务、物料管理服务及数据源服务等;
• 微服务治理服务，包括定制化的Spring Cloud Gateway、Eureka、Open Feign。
• 丰富的组件
• 活跃的社区