04-Standalone集群架构

• 分布式主从架构：整体的功能及架构高度类似于YARN【ResourceManager、NodeManager】

  • 分布式架构
  • 普通分布式主从架构：HDFS、YARN、Spark、Flink、Hbase => 主节点单点故障问题
    • 解决主节点单点故障问题：HA高可用架构来解决
  • 公平分布式主从架构：Zookeeper
    • 不存在所讲的单点故障问题，Zookeeper负责帮别人解决单点故障问题
    • 整个大数据平台中ZK的场景：1-辅助实现HA，解决单点故障问题。2-存储实时工具元数据

• 功能：提供分布式资源管理和任务调度

• 主：Master：管理节点，类比于YARN中的RM

  • 接受客户端请求：所有程序的提交，都是提交给主节点
  • 管理从节点：通过心跳机制检测所有的从节点的健康状态
  • 资源管理和任务调度：将所有从节点的资源在逻辑上合并为一个整体，将任务分配给不同的从节点

• 从：Worker：计算节点，类比于YARN中NM

  • 使用自己所在节点的资源运行计算进程Executor：给每个计算进程分配一定的资源
  • 所有Task线程计算任务就运行在Executor进程中
  • 假设每台机器机器：32Core - 64GB
  • 那么Worker的资源由配置决定，例如16Core - 32GB
  • 表示Worker最多能使用这台机器的16Core32GB的资源用于计算

• 注意：Executor类似于MapTask或者ReduceTask进程，每个程序的Executor只启动一次