【大数据】pyspark sql计算场景

一、目的

本文主要用于记录我在大数据使用过程中的一些沉淀和总结

二、简单计算内容

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("sql").master("local[*]").getOrCreate()
sc = spark.sparkContext

# # #1.求平均数
# data = [1,5,7,10,23,20,6,5,10,7,10]
# sdata = spark.createDataFrame([(x,) for x in data]).toDF("value")
# df = sdata.agg({"value":"max"})
# df.show()

#3，求TopN
#任务：有一批学生信息表格，包括name,age,score, 找出score排名前3的学生, score相同可以任取
students = [("LiLei",18,87),("HanMeiMei",16,77),("DaChui",16,66),("Jim",18,77),("RuHua",18,50)]
n = 3
data = spark.createDataFrame(students).toDF("name","age","score")
df = data.orderBy("score").limit(n)
df.show()

#5.二次排序
#任务：有一批学生信息表格，包括name,age,score
#首先根据学生的score从大到小排序，如果score相同，根据age从大到小
students = [("LiLei",18,87),("HanMeiMei",16,77),("DaChui",16,66),("Jim",18,77),("RuHua",18,50)]
data = spark.createDataFrame(students).toDF("name","age","score")
df = data.orderBy(data["score"].desc(),data["age"].desc())
df.show()

待更新。。。