2.20
今天学习了如何将Spark与Cassandra集成,用于处理和分析Cassandra中的数据。
代码示例:
python
复制
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder \
.appName("CassandraIntegration") \
.config("spark.cassandra.connection.host", "localhost") \
.getOrCreate()
# 从Cassandra读取数据
df = spark.read \
.format("org.apache.spark.sql.cassandra") \
.options(table="my_table", keyspace="my_keyspace") \
.load()
# 显示数据
df.show()
# 将数据写入Cassandra
df.write \
.format("org.apache.spark.sql.cassandra") \
.options(table="my_table_output", keyspace="my_keyspace") \
.mode("append") \
.save()
spark.stop()
浙公网安备 33010602011771号