随笔分类 - Flink
摘要:Flink作为一个软件栈,是一个分层系统。栈的不同层相互叠加,并提高它们接受的程序表示的抽象级别: 运行时(runtime)层以JobGraph的形式接收程序。JobGraph是一个通用的并行数据流,其中包含消费数据流和生成数据流的任务。 DataStream API和DataSet API都可以通
        阅读全文
            
摘要:本篇我们介绍下,Flink在YARN上运行流程: 注意事项: 客户端:这里的客户端就是用户提交Flink应用的节点。 ApplicationMaster和JobManager运行同一个container中;因此ApplicationMaster,生成新的配置文件时,就知道JobManager的信息,
        阅读全文
            
摘要:序言: Flink系列的文章会一直更新,这里只是参考官方文档,给出一个大概的解释,这里面涉及很多的细节需要划分多个模块单独来讲解,有兴趣的同学还是直接去看官网(官方文档和社区)和源码,这样获取知识最真实。Flink可能会是Spark之后的一个趋势,只说可能哦。据我所知,国内一些大厂已经开始使用Fli
        阅读全文
            
 
                    
                
 
 浙公网安备 33010602011771号
浙公网安备 33010602011771号