摘要: 一、Flink与spark的区别 1、Flink是基于事件驱动的,spark是微批处理 2、Flink支持多种时间语义,spark只支持处理时间语义 3、架构不同,容错不同 二、Flink集群角色 client:提交程序的客户端,与jobManage连接,提交job jobManage:集群协调者, 阅读全文
posted @ 2021-11-02 20:04 持枢 阅读(319) 评论(0) 推荐(0)
摘要: 一、端口号 hdfs:50070 mr:8088 历史服务器:19888 二、配置文件 core-site、yarn-site、mapred-site、hdfs-site、slave ssh免密登录,配置核心文件,namenode格式化 三、hdfs读写流程 读数据:hdfs-client向name 阅读全文
posted @ 2021-11-02 17:09 持枢 阅读(142) 评论(0) 推荐(0)