掌握-Hadoop-第一部分-安装-配置和现代大数据策略

掌握 Hadoop，第一部分：安装、配置和现代大数据策略

原文：towardsdatascience.com/mastering-hadoop-part-1-installation-configuration-and-modern-big-data-strategies/

现在，互联网上收集了大量的数据，这就是为什么公司面临着能够高效存储、处理和分析这些数据量的挑战。Hadoop 是 Apache 软件基金会的一个开源框架，近年来已成为领先的大数据管理技术之一。该系统使数据能够在多个服务器上分布式存储和处理。因此，它为从数据分析到机器学习等广泛的应用提供了可扩展的解决方案。

本文全面概述了 Hadoop 及其组件。我们还探讨了其底层架构，并提供了开始使用它的实用技巧。

在我们开始之前，我们需要提到，整个 Hadoop 主题非常庞大，尽管这篇文章已经很长，但它甚至没有深入到所有主题的太多细节。这就是为什么我们将其分为三个部分：让您自己决定您想要多深入地了解：

第一部分：Hadoop 101：它是什麼，为什么它很重要，谁应该关心

这一部分是为所有对大数据和数据分析感兴趣的人准备的，他们想要了解这个经典工具，并了解它的缺点。

第二部分：动手实践：设置和扩展 Hadoop

所有没有被 Hadoop 的缺点和生态系统的规模吓倒的读者，都可以使用本部分来获得如何开始他们的第一个本地集群的指南，以学习如何操作它的基础知识。

第三部分：Hadoop 生态系统：充分利用您的集群

在本节中，我们将深入了解，解释核心组件以及如何进一步扩展以满足您的需求。

第一部分：Hadoop 101：它是什麼，为什么它很重要，谁应该关心

Hadoop 是一个用于分布式存储和处理大量数据的开源框架。它最初由 Doug Cutting 和 Mike Cafarella 开发，最初是一个名为 Nutch 的搜索引擎优化项目。后来，创始人 Cutting 根据他儿子的玩具大象的名字将其更名为 Hadoop。这就是今天标志中黄色大象的来源。

原始概念基于两篇关于分布式文件系统和MapReduce机制的 Google 论文，最初包含大约 11,000 行代码。其他方法，如 YARN 资源管理器，是在 2012 年才被添加的。如今，该生态系统包含大量组件，远远超出了纯文件存储。

Hadoop 与传统的数据库（RDBMS）有根本的不同：

属性	Hadoop	RDBMS
数据结构	非结构化、半结构化和非结构化数据	结构化数据
处理	批处理或部分实时处理	基于事务的 SQL 处理
可扩展性	在多个服务器上实现水平扩展	通过更强的服务器实现垂直扩展
灵活性	支持多种数据格式	必须遵守严格的方案
成本	开源且硬件价格低廉	主要开源，但配备强大且昂贵的服务器

哪些应用程序使用 Hadoop？

Hadoop 是一个重要的大数据框架，近年来在许多公司和应用程序中确立了自己的地位。总的来说，它主要用于存储大量非结构化数据，由于其分布式架构，特别适合于数据密集型应用程序，这些应用程序使用传统数据库将无法管理。

Hadoop 的典型用例包括：

• 大数据分析：Hadoop 使公司能够从不同的系统中集中收集和存储大量数据。然后，这些数据可以用于进一步分析，并通过报告提供给用户。结构化数据，如金融交易或传感器数据，以及非结构化数据，如社交媒体评论或网站使用数据，都可以存储在 Hadoop 中。

• 日志分析与 IT 监控：在现代 IT 基础设施中，各种系统以日志的形式生成数据，提供有关状态或记录某些事件的信息。这些信息需要存储并实时响应，例如，以防内存不足或程序未按预期工作。Hadoop 可以通过在多个节点上分布数据并并行处理数据来承担数据存储的任务，同时还可以批量分析信息。

• 机器学习与人工智能：Hadoop 通过管理大型模型的数据集为许多机器学习和人工智能模型提供基础。特别是在文本或图像处理中，模型架构需要大量的训练数据，这些数据占据了大量的内存。借助 Hadoop，这种存储可以高效地管理和操作，从而可以将重点放在人工智能算法的架构和训练上。

• ETL 流程：ETL 流程在公司中至关重要，用于准备数据以便进一步处理或用于分析。为此，必须从广泛的系统中收集数据，然后进行转换，最后存储在数据湖或数据仓库中。Hadoop 可以通过提供与不同数据源的良好连接，并允许在多个服务器上并行处理数据，在这里提供中心支持。此外，可以提高成本效益，尤其是在与具有数据仓库的经典 ETL 方法相比时。

每天使用 Hadoop 并将其作为其架构重要组成部分的知名公司名单非常长。例如，Facebook 就使用 Hadoop 处理每天数百万用户数据，用于广告、内容优化和机器学习。另一方面，Twitter 使用 Hadoop 进行实时趋势分析或检测垃圾邮件，应相应地标记。最后，Yahoo 拥有世界上最大的 Hadoop 集成之一，拥有超过 40,000 个节点，该集成是为了分析搜索和广告数据而建立的。

Hadoop 的优势和劣势是什么？

由于其能够以分布式方式处理大量数据，Hadoop 已经成为许多公司使用的强大且流行的大数据框架，尤其是在 2010 年代。一般来说，使用 Hadoop 时会产生以下优势：

• 可扩展性：集群可以通过添加承担额外任务的新节点来轻松水平扩展。这也使得处理超过单个计算机容量的数据量成为可能。

• 成本效益：这种水平扩展性也使得 Hadoop 非常具有成本效益，因为可以通过添加更多低成本计算机来提高性能，而不是用昂贵的硬件装备服务器并垂直扩展。此外，Hadoop 是开源软件，因此可以免费使用。

• 灵活性：Hadoop 可以处理非结构化数据和结构化数据，提供了广泛应用的灵活性。它通过提供大量组件库来进一步扩展现有功能，从而提供了额外的灵活性。

• 容错性：通过在不同服务器上复制数据，系统在大多数硬件故障的情况下仍然可以运行，因为它只是简单地回退到另一个副本。这也导致了整个系统的可用性很高。

这些缺点也应该被考虑在内。

• 复杂性：由于集群和其中各个服务器的强网络连接，系统的管理相当复杂，需要一定的培训才能正确设置和运行 Hadoop 集群。然而，通过使用云连接和其中包含的自动扩展功能，可以避免这一点。

• 延迟：Hadoop 使用批量处理来处理数据，因此建立了延迟时间，因为数据不是实时处理的，而只是在有足够数据可供批量处理时才处理。Hadoop 尝试通过微型批量来避免这种情况，但这仍然意味着延迟。

• 数据管理：需要额外的组件来管理数据，例如数据质量控制或跟踪数据序列。Hadoop 不包括任何直接的数据管理工具。

Hadoop 是处理大数据的强大工具。首先，可扩展性、成本效益和灵活性是 Hadoop 被广泛使用的关键优势。然而，也存在一些缺点，例如批处理造成的延迟。

Hadoop 有未来吗？

Hadoop 长期以来一直是分布式大数据处理的领先技术，但近年来也出现了新的系统，并变得越来越相关。最大的趋势之一是，大多数公司都在转向可以运行类似 Hadoop 的工作负载而无需专用集群的全托管云数据平台。这也使它们更具成本效益，因为只需支付所需的硬件费用。

此外，Apache Spark 尤其已经确立了自己作为 MapReduce 的更快替代品，因此优于经典的 Hadoop 设置。它也非常有趣，因为它提供了几乎完整的 AI 工作负载解决方案，这得益于其各种功能，如 Apache Streaming 或机器学习库。

尽管 Hadoop 仍然是一个相关的大数据框架，但它在当今正逐渐失去重要性。尽管许多老牌公司继续依赖一些时间以前建立的集群，但现在开始涉足大数据的公司正在直接使用云解决方案或专业的分析软件。因此，Hadoop 平台也在不断发展，并提供了适应这种时代精神的新解决方案。

谁应该继续学习 Hadoop？

随着云原生数据平台和现代分布式计算框架的兴起，你可能正在思考：Hadoop 是否仍然值得学习？答案取决于你的角色、行业以及你处理的数据规模。虽然 Hadoop 不再是大数据处理的首选方案，但在许多企业环境中仍然非常相关。以下至少有一条对你适用，Hadoop 对你来说可能仍然相关：

• 你的公司仍然拥有基于 Hadoop 的数据湖。

• 你存储的数据是机密的，需要在本地上架。

• 你处理 ETL 流程和大规模数据摄取。

• 你的目标是优化分布式环境中的批处理作业。

• 你需要在 Hadoop 上使用 Hive、HBase 或 Apache Spark 等工具。

• 你希望优化成本效益高的数据存储和处理解决方案。

Hadoop 绝对不是每个数据专业人士的必需品。如果你主要使用云原生分析工具、无服务器架构或轻量级数据处理任务，花时间在 Hadoop 上可能不是最佳的投资。

你可以跳过 Hadoop 的情况是：

• 你的工作主要集中在使用云原生解决方案（例如，BigQuery、Snowflake、Redshift）的基于 SQL 的分析。

• 你主要处理的是 Python 或 Pandas 中的小型到中型数据集。

• 你的公司已经从 Hadoop 迁移到完全基于云的架构。

Hadoop 已不再是曾经的那项尖端技术，但它仍然在不同应用和拥有现有数据湖、大规模 ETL 流程或本地基础设施的公司中具有重要意义。在下文中，我们将更加实用，展示如何轻松搭建一个集群以使用 Hadoop 构建你的大数据框架。