2.20

今天学习了如何将Spark与Cassandra集成,用于处理和分析Cassandra中的数据。

代码示例:

python
复制
from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder \
.appName("CassandraIntegration") \
.config("spark.cassandra.connection.host", "localhost") \
.getOrCreate()

# 从Cassandra读取数据
df = spark.read \
.format("org.apache.spark.sql.cassandra") \
.options(table="my_table", keyspace="my_keyspace") \
.load()

# 显示数据
df.show()

# 将数据写入Cassandra
df.write \
.format("org.apache.spark.sql.cassandra") \
.options(table="my_table_output", keyspace="my_keyspace") \
.mode("append") \
.save()

spark.stop()

posted @ 2025-02-20 22:20  混沌武士丞  阅读(7)  评论(0)    收藏  举报