11.5

Spark 在大数据处理领域的广泛应用和出色性能，开始学习如何将 Hadoop 与 Spark 进行集成。了解到 Spark 可以直接读取 Hadoop 上存储的数据，如 HDFS 文件和 Hive 表，同时也可以将计算结果存储回 Hadoop 生态系统中。通过搭建 Spark 集群并与 Hadoop 集群进行连接，使用 Spark 的 API 编写了一些数据分析和机器学习算法，感受了 Spark 在内存计算和迭代计算方面的优势，以及它与 Hadoop 相互补充、协同工作的强大能力，能够为大数据处理提供更高效、更灵活的解决方案。