dlimeng

摘要： 一.CheckPoints 为了使Flink的状态具有良好的容错性，Flink提供了检查点机制（Checkpoints）。通过检查点机制，Flink定期在数据流上生成checkpoint barrier ，当某个算子收到barrier时，即会基于当前状态生成一份快照，然后再将该barrier传递到下 阅读全文

摘要： 背景 从事大数据开发，参与Linkis社区建设很长时间了，Beam 和 Hive Hook 血缘 搭建大数据平台 缺点 没有统一外部访问，形式比较单一 开发成本比较高，新手不容易扩展 元数据访问复杂 架构 选型 Apache Livy是一种通过REST接口与Spark集群轻松交互的服务。 Apach 阅读全文