2.18

今天学习了如何将Spark与MongoDB集成，用于处理和分析MongoDB中的数据。

代码示例：

python
复制
from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder \
.appName("MongoDBIntegration") \
.config("spark.mongodb.input.uri", "mongodb://localhost/test.my_collection") \
.config("spark.mongodb.output.uri", "mongodb://localhost/test.my_collection_output") \
.getOrCreate()

# 从MongoDB读取数据
df = spark.read.format("mongo").load()

# 显示数据
df.show()

# 将数据写入MongoDB
df.write.format("mongo").mode("overwrite").save()

spark.stop()