摘要：
性能调优和集群管理是 Apache Spark 应用程序开发中非常重要的两个方面，它们可以帮助提高应用程序的执行效率和稳定性。以下是关于性能调优和集群管理的介绍： 性能调优 数据倾斜处理： 数据倾斜是指在分布式计算过程中某些任务处理的数据量远大于其他任务的情况。可以通过重新分区、使用合适的聚合策略等 阅读全文
posted @ 2024-02-24 22:21
(该昵称暂可见)
阅读(8)
评论(0)
推荐(0)
摘要：
在主体都学习完后，我又学习的一些其他知识，如Spark MLlib。 Spark MLlib 是 Apache Spark 中的机器学习库，提供了一套丰富的机器学习算法和工具，旨在帮助开发人员轻松构建和部署大规模的机器学习应用程序。 通用机器学习算法： Spark MLlib 提供了一系列通用的机器 阅读全文
posted @ 2024-02-24 21:45
(该昵称暂可见)
阅读(15)
评论(0)
推荐(0)
摘要：
Spark Streaming 是 Spark 提供的流式数据处理模块，能够处理实时数据流。Spark Streaming 将实时数据流按照一定的时间间隔切分成批次数据，然后再将每个批次的数据作为 RDD 进行处理。Spark Streaming 支持多种数据源，例如 Kafka、Flume、HDF 阅读全文
posted @ 2024-02-24 21:34
(该昵称暂可见)
阅读(8)
评论(0)
推荐(0)
摘要：
学习spark就绕不开spark sql,今天我就学习了spark的数据库操作： 创建 SparkSession： 在 Spark 中使用 Spark SQL 时，首先需要创建一个 SparkSession 对象，它是 Spark SQL 的入口点。可以通过 SparkSession.builder 阅读全文
posted @ 2024-02-24 21:25
(该昵称暂可见)
阅读(20)
评论(0)
推荐(0)
摘要：
昨天我已经安装好spark，今天进入学习阶段，首先学习spark的一些基础编程： Spark 应用程序： Spark 应用程序由一个驱动器程序（Driver Program）和多个执行器（Executors）组成。驱动器程序负责在集群上运行主程序并创建 Spark 上下文，而执行器负责在工作节点上执 阅读全文
posted @ 2024-02-24 21:19
(该昵称暂可见)
阅读(18)
评论(0)
推荐(0)
摘要：
今天我开始学习spark基础知识，首先从他的基本概念和理论开始入手： RDD（Resilient Distributed Dataset）： RDD 是 Spark 提供的一个抽象数据类型，代表一个可以分布式计算的数据集合。它是 Spark 中最基本的数据结构，具有以下特点： 分区（Partitio 阅读全文
posted @ 2024-02-24 21:17
(该昵称暂可见)
阅读(9)
评论(0)
推荐(0)
浙公网安备 33010602011771号