1.27
学习了DataFrame的常见操作,如选择列、过滤数据和分组聚合。
代码示例:
python
复制
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("DataFrameOps").getOrCreate()
data = [("Alice", 25), ("Bob", 30), ("Cathy", 28)]
df = spark.createDataFrame(data, ["Name", "Age"])
# 选择列
df.select("Name").show()
# 过滤数据
df.filter(df.Age > 27).show()
# 分组聚合
df.groupBy("Name").count().show()
spark.stop()