寒假生活

# coding:utf8  # 指定源代码编码格式为UTF-8

from pyspark.sql import SparkSession  # 导入SparkSession类，用于创建和管理Spark应用上下文
from pyspark.sql.functions import concat, expr, col  # 导入Spark SQL中的函数，这里并未使用但可能在后续操作中用于数据转换或计算
from pyspark.sql.types import StructType, StringType, IntegerType  # 导入数据类型，用于定义DataFrame的结构
from pyspark.sql import functions as F  # 更短的引用方式，指向pyspark.sql.functions模块

if __name__ == '__main__':
    # 创建一个本地SparkSession实例，设置应用程序名为"test"，并配置shuffle分区数为2
    spark = SparkSession.builder.appName("test").master("local[*]").config("spark.sql.shuffle.partitions", 2).getOrCreate()

    # 从指定路径读取CSV文件，并将数据加载到DataFrame中，默认不包含列名头，以逗号作为分隔符
    df = spark.read.csv('../data/sql/stu.txt', sep=',', header=False)

    # 将原始DataFrame重命名列，将其转换为新的DataFrame，列名分别为'id'、'name'和'score'
    df2 = df.toDF('id', 'name', 'score')

    # 显示新DataFrame的架构信息
    df2.printSchema()

    # 显示新DataFrame的所有数据
    df2.show()

    # 将df2注册为临时视图，名称为"score"
    df2.createTempView("score")

    # 使用SQL查询语句从临时视图中选取名字为'语文'的前5条记录，并显示结果
    spark.sql("SELECT * FROM score WHERE name = '语文' LIMIT 5").show()

    # 或者使用DataFrame API的方式实现相同逻辑：选取名字为'语文'的前5条记录，并显示结果
    df2.where(F.col("name") == '语文').limit(5).show()  # 这里用到了F.col方法确保对列名的引用符合DataFrame API要求

sparksql入门程序