摘要：一、HDFS 1、NameNode‌ 主角色‌：负责管理HDFS的元数据（如文件目录树、权限、数据块映射关系）。 ‌核心功能‌：处理客户端请求、配置副本策略（默认3副本）、监控DataNode状态 2、DataNode ‌从角色‌：存储实际数据块（默认128MB/块），执行数据读写操作。 ‌辅助职能 阅读全文

摘要：参考网址http://www.powerxing.com/install-hadoop/ 1.创建hadoop账户 这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。 sudo useradd -m hadoop -s /bin/bash 2.接着使用如下命 阅读全文

摘要：一、ResourceManager ResourceManager中的调度器负责资源的分配 二、NodeManager NodeManager则负责资源的供给和隔离 ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的“资源调度”）后，NodeManager需按照 阅读全文

摘要：一、调度器简介 Fair Scheduler称为公平调度器，是Apache YARN内置的调度器。公平调度器主要目标是实现YARN上运行的应用能公平的分配到资源，其中各个队列使用的资源根据设置的权重（weight）来实现资源的公平分配。Capacity Scheduler称为容量调度器，是Apach 阅读全文

摘要：一、查看文件 1、查看目录下文件 hdfs dfs -ls /user/hadoopDemo 2、查看文件内容 hdfs dfs -cat /user/hadoopDemo/hadoop/output hdfs dfs -text /user/hive/47-0000000001407771492 阅读全文