07 2019 档案

摘要:简介 这个的介绍在我的另一篇博文中(Beam-介绍),在此不在再赘述,最近碰到个有意思的事,聊聊beam的链路,简单来说自己操作的一些函数中间有些转换组件,注册在链路中,在此截了一张官网的图片。 这是简单链路大概样子,各个函数串联在一起,当然了实际中不可能这样一帆风顺,肯定遇到很多种情况,我列下几种 阅读全文
posted @ 2019-07-28 03:24 Dlimeng 阅读(9) 评论(0) 推荐(0)
摘要:简介 Beam提供了一套统一的API来处理两种数据处理模式(批和流),让我们只需要将注意力专注于在数据处理的算法上,而不用再花时间去对两种数据处理模式上的差异进行维护。 Beam每6周更新一个小版本。 编程模型 第一层是现有各大数据处理平台(spark或者flink),在Beam中它们也被称为Run 阅读全文
posted @ 2019-07-16 18:08 Dlimeng 阅读(42) 评论(0) 推荐(0)