第八周第一天8.1
所用时间:315分钟
代码量(行):232
了解到的知识点:
1.spark
Apache Spark 是一个开源的分布式计算框架,专为大规模数据处理设计,具有高效、易用、通用等特点。
基于内存计算(In-Memory Computing),处理速度比 Hadoop MapReduce 快 100 倍以上(内存中),磁盘计算也快 10 倍以上。
支持多种计算范式,包括批处理、交互式查询(Spark SQL)、实时流处理(Structured Streaming)、机器学习(MLlib)和图计算(GraphX)
提供 Java、Scala、Python、R 等多种编程语言 API,以及 Spark Shell 交互式环境,便于快速开发和调试。
可在独立集群、Hadoop YARN、Apache Mesos 或 Kubernetes 上部署,支持数千个节点的水平扩展。

浙公网安备 33010602011771号