Hadoop面试V1.0

Hadoop面试题

1.简述Hadoop核心组件

1.HDFS

• HDFS是hadoop的分布式文件系统，用于存储大量结构化和非结构化数据。
• 它将文件分割成多个块(默认128MB)，并将这些块分布在集群中的不同节点上。
• 提供了高容错性，通过在多个节点上复制数据块来确保数据的可靠性和可用性。

2.YARN

• YARN是Hadoop的资源管理器，负责管理和调度集群中的计算资源。
• 它使得多个应用程序可以共享集群资源，并支持多种计算框架(如MapReduce，Spark等)运行在同一个Hadoop集群上。
• YARN包含两个主要组件：ResourceManager和NodeManager。ResourceManager负责全局资源管理和调度，NodeManager负责每个节点的资源管理和任务执行。

3.MapReduce

• MapReduce是Hadoop的编程模型，用于并行处理大规模数据集。
• 它由两个主要阶段组成：Map阶段和Reduce阶段。
• Map阶段：将输入数据分割成小块，并行处理每个小块，生成中间键值对。
• Reduce阶段：对中间键值对进行汇总和聚合，生成最终结果。
• MapReduce框架会自动处理任务分发，错误恢复和负载均衡等复杂问题。

除了这三个核心组件外，Hadoop 生态系统还包括许多其他工具和库，例如 Hive（用于SQL查询）、Pig（用于数据流编程）、HBase（分布式列式数据库）、Sqoop（用于数据导入导出）等，这些工具共同构成了强大的大数据处理平台。

2.Hadoop的优点

1.高可靠性

• hadoop通过数据冗余存储来确保数据的高可靠性，即使某个节点发生故障，系统仍然可以从其他副本中恢复数据。

2.高扩展性

• Hadoop支持横向扩展，可以通过添加更多廉价的commodity硬件节点来扩展集群的存储和计算能力，而无需对现有系统进行重大修改。

3.高容错性

• hadoop能够自动处理节点故障，当某个节点宕机时，任务会被重新分配到其他可用节点上继续执行，从而保证系统的正常运行。

4.高效的数据处理

• 基于MapReduce编程模型，Hadoop将任务分解为多个小任务并行处理，极大地提高了大数据的处理效率。

5.分布式存储

• hadoop提供了HDFS，能够大规模数据分布在集群中的多个节点上存储，并支持流式数据访问。

6.经济性

• hadoop可以运行在普通的商用硬件上，而不是依赖昂贵的专用设备，降低了构建和维护大规模集群的成本。

7.生态丰富

• hadoop拥有强大的生态系统，包括Hive，HBase，Pig，ZK等工具，可以满足不同的数据分析需求。

8.可移植性

• hadoop可以在多种操作系统上运行，具有良好的跨平台兼容性。

3.简述解释hadoop和hadoop生态系统两个概念

1.hadoop

hadoop是一个开源的分布式计算框架，主要用于处理大规模数据集，核心组件包括：

• HDFS：一种分布式文件系统，能够存储超大规模的数据集，并且具有高容错性。它将数据分布在多个节点上，并通过冗余存储来保证数据的安全性和可靠性。
• MapReduce:一种编程模型和任务调度框架，用于并行处理大量数据。它通过Map和Reduce两个步骤来处理数据，能够在多台机器上同时执行任务。

hadoop的设计理念是将计算逻辑推送到数据所在的节点上执行，从而减少网络传输开销，提高处理效率。

2.hadoop生态系统

hadoop生态系统是指围绕hadoop核心技术构建的一系列工具和框架，它们共同构成了一个完整的数据处理平台，这个工具和框架扩展了hadoop的功能。常见的hadoop生态系统组件包括：

• YARN：资源管理和调度框架，负责分配集群中的计算资源，并管理应用程序的生命周期。
• Hive：基于hadoop的数据仓库工具，提供sql查询接口，允许用户使用类似sql的查询语言（HQL）来查询存储在HDFS中的数据。
• Pig：一种高级数据流语言和运行环境，用于处理大规模数据集。
• HBase：一个分布式的，面向列的NoSQL数据库，建立在HDFS之上，适用于需要随机读写的实时应用。
• Spark：一个快速的通用分布式计算引擎，支持内存计算，使用于迭代算法和实时数据处理。它可以与Hadoop继承，也可以独立运行。
• ZooKeeper：一个分布式协调服务，用于管理集群中各个节点的状态，确保一致性。
• Sqoop：用于在关系型数据库和Hadoop之间高效传输数据的工具。
• Flume：一个高可靠，高性能的日志收集，聚合和传输系统，常用于将日志数据导入到hadoop系统中。
• Oozie：一个工作流调度系统，用于管理和协调Hadoop上的各种任务。

4.HDFS如何保证数据不丢失

HDFS通过多种机制来保证数据的可靠性和防止数据丢失以下是HDFS确保数据不丢失的主要方法：

1.数据冗余与副本机制

• 多副本存储：HDFS默认会将每个文件分成多个块，并将这些块存储在集群中的不同DataNode上。默认情况下每个块会有3个副本。这个即使某个节点发生故障，其他节点仍然保存有完整的数据副本。
• 副本放置策略：为了进一步提高可靠性，HDFS采用了特定的副本放置策略。例如，默认情况下第一个副本会存储在本地机架的DataNode上，第二个副本会存储在同一个机架的不同DataNode上，第三个副本会存储在不同机架的DataNode上。这种策略可以减少由于机架故障导致的数据丢失风险。

2.心跳检测与健康监控

• 心跳机制：NameData会定期接收来自各个DataNode的心跳信号。如果某个DataNode在规定的时间内没有发送心跳，NameNode会认为该节点可能出现了故障，并将其标记为”死亡“。此时NameNode会根据现有的副本情况，重新分配新的副本以确保数据的可用性。
• 块报告：每个DataNode会定期向NameNode发送块报告，告知它当前存储了那些块以及它们的状态。NameNode可以根据这些信息来检查是否有块的副本数量不足，并采取相应措施进行修复。

3.数据校验和

• HDFS为每个写入的数据块生成校验和。当客户端读取数据时，HDFS会验证数据的完整性。如果发现数据损坏或校验和不匹配，HDFS会尝试从其他副本中读取正确的数据并修复损坏的副本。

4.安全模式

• 当HDFS启动时，NameNode会进入安全模式，在此期间它不会允许对文件系统进行修改操作。NameNode会等待所有DataNode完成块报告，并确保有足够的副本存在后，才会退出安全模式，这有助于防止在系统启动过程中发生数据丢失。

5.垃圾回收机制

• 如果某个文件被删除，HDFS并不会立即删除其对应的块，而是将这些块标记为”待删除“。只有在经过一段时间后且确认没有其他应用依赖这些块时，HDFS才会真正删除这些块。这样可以防止误删除导致的数据丢失。

6.日志持久化

• NameNode会维护一个编辑日志，记录所有的元数据变更操作。即使NameNode崩溃，也可以通过恢复编辑日志来重建元数据。此外HDFS还支持Secondary NameNode或Checkpoint节点定期合并编辑日志和Fslmage，确保元数据的安全性和一致性。

7.快照功能

• HDFS支持快照功能，用户可以在指定目录下创建快照，从而保留某一时刻的数据状态。即使后续发生了更改或丢失，用户仍然可以通过快照恢复到之前的状态。

简述HDFS的Blok

HDFS中的Blok是HDFS存储文件的基本单位。

1.定义与大小

• 在HDFS中，文件被分割成固定大小的数据块，每个文件会被分割成一个或多个Block进行存储。
• 默认情况下，HDFS的Block大小为128MB。这个大小远大于传统文件系统的块大小，目的是为了减少元数据的管理开销，并且提高大文件的读写效率。

2.冗余存储

• 为了保证数据的可靠性和容错性，每个Block会被复制多份，默认情况下会复制3份，这些副本会被存储在不同的DataNode上。
• 如果某个DataNode发生故障，系统可以根据其他副本恢复数据，确保数据的安全性和可用性。

3.分布式存储

• HDFS是一个分布式文件系统，Block会被分布到集群中的不同DataNode上存储。NameNode负责管理文件系统的命名空间和客户端对文件的访问请求，而DataNode则负责实际存储Block。
• 当用户上传文件时，HDFS会将文件切分成多个Block，并将这些Block分布到集群中的各个DataNode上进行存储。

4.读写操作

• 在读取文件时，HDFS会根据文件名找到对应的Block列表，并从最近的DataNode读取Block数据。
• 写入文件时，客户端会将数据流式写入Block写满后，在开始写入下一个Block，直到整个文件写完。

5.Block管理

• NameNode维护着整个文件系统的元数据，包括文件与Block的映射关系，Block的位置信息等。
• DataNode定期向NameNode汇报自己所持有的Block信息，以确保NameNode掌握最新的Block分布情况。