YARN

 

YARN（Yet Another Resource Negotiator）是Hadoop的资源管理器。

它是Hadoop生态系统中的一个核心组件，负责集群资源的调度和管理。

YARN的设计目标是将Hadoop从原始的MapReduce引擎扩展为一个通用的分布式计算平台，使得除了MapReduce之外的其他计算模型也可以在Hadoop上运行。

YARN的主要功能包括：

1. 资源管理：YARN负责管理集群中的计算资源，包括内存、CPU、磁盘等。它通过调度器将资源分配给不同的应用程序，并监控资源的使用情况。

2. 作业调度：YARN支持多种作业调度策略，可以根据不同的调度需求来分配资源。它可以同时运行多个作业，并根据优先级和资源需求来调度作业的执行顺序。

3. 任务监控：YARN可以监控正在运行的任务，并提供对任务的状态、进度和日志等信息的查询和管理。

4. 容错性：YARN具有容错性，即使在某个节点发生故障时，它可以自动将任务迁移到其他可用的节点上继续执行，保证整个计算过程的稳定性和可靠性。

通过YARN，Hadoop可以支持更多的计算模型和应用程序，例如Spark、Hive、Pig等，使得Hadoop集群可以更加灵活和高效地处理各种类型的工作负载。