随笔分类 -  Flink

摘要:Flink作为一个软件栈,是一个分层系统。栈的不同层相互叠加,并提高它们接受的程序表示的抽象级别: 运行时(runtime)层以JobGraph的形式接收程序。JobGraph是一个通用的并行数据流,其中包含消费数据流和生成数据流的任务。 DataStream API和DataSet API都可以通 阅读全文
posted @ 2018-09-20 16:57 胜迹寻芳 阅读(191) 评论(0) 推荐(0)
摘要:本篇我们介绍下,Flink在YARN上运行流程: 注意事项: 客户端:这里的客户端就是用户提交Flink应用的节点。 ApplicationMaster和JobManager运行同一个container中;因此ApplicationMaster,生成新的配置文件时,就知道JobManager的信息, 阅读全文
posted @ 2018-09-04 00:20 胜迹寻芳 阅读(2676) 评论(0) 推荐(1)
摘要:序言: Flink系列的文章会一直更新,这里只是参考官方文档,给出一个大概的解释,这里面涉及很多的细节需要划分多个模块单独来讲解,有兴趣的同学还是直接去看官网(官方文档和社区)和源码,这样获取知识最真实。Flink可能会是Spark之后的一个趋势,只说可能哦。据我所知,国内一些大厂已经开始使用Fli 阅读全文
posted @ 2018-08-23 23:05 胜迹寻芳 阅读(940) 评论(0) 推荐(1)