scrapy学习五
今天完成了实验五：
1．Spark SQL 基本操作
将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":36 } { "id":2, "name":"Bob","age":29 } { "id":3 , "name":"Jack","age":29 } { "id":4 , "name":"Jim","age":28 } { "id":4 , "name":"Jim","age":28 } { "id":5 , "name":"Damon" } { "id":5 , "name":"Damon" } 为 employee.json 创建 DataFrame，并写出 Scala 语句完成下列操作：
(1)查询所有数据；
(2)查询所有数据，并去除重复的数据；
-
-
(3)查询所有数据，打印时去除 id 字段；
(4)
(4)(筛选出 age>30 的记录；
(5)将数据按 age 分组；
(6)将数据按 name 升序排列；
(7)取出前 3 行数据；
(8)查询所有记录的 name 列，并为其取别名为 username；
(9)查询年龄 age 的平均值；
(10)查询年龄 age 的最小值。
2．编程实现将 RDD 转换为 DataFrame
源文件内容如下（包含 id,name,age）： 1,Ella,36 2,Bob,29 3,Jack,29 请将数据复制保存到 Linux 系统中，命名为 employee.txt，实现从 RDD 转换得到 DataFrame，并按“id:1,name:Ella,age:36”的格式打印出 DataFrame 的所有数据。请写出程序代码。
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SparkSession
object RDDtoDF {
case class Employee(id:Long,name:String,age:Long)
def main(args: Array[String]) {
val conf = new SparkConf()
conf.setMaster("local")
.setAppName("RDDtoDF")
val sc = new SparkContext(conf)
val spark = SparkSession.builder.getOrCreate
import spark.implicits._
val employeeDF = sc.textFile("file:///usr/local/spark/examples/src/main/resources/employee.txt")
.map(_.split(","))
.map(attributes => Employee(attributes(0).trim.toInt, attributes(1), attributes(2).trim.toInt)).toDF()
employeeDF.createOrReplaceTempView("employee")
var employeeRDD = spark.sql("select id,name,age from employee")
employeeRDD.map(t=>"id:"+t(0)+"name:"+t(1)+"age:"+t(2)).show()
}
}
3. 编程实现利用 DataFrame 读写 MySQL 的数据
（1）在 MySQL 数据库中新建数据库 sparktest，再创建表 employee，包含如表 6-2 所示的两行数据。表 6-2 employee 表原有数据 id name gender Age 1 Alice F 22 2 John M 25
（2）配置 Spark 通过 JDBC 连接数据库 MySQL，编程实现利用 DataFrame 插入如表 6-3 所示的两行数据到 MySQL 中，最后打印出 age 的最大值和 age 的总和。表 6-3 employee 表新增数据 id name gender age 3 Mary F 26 4 Tom M 23
import java.util.Properties
import org.apache.spark.sql.types._
import org.apache.spark.sql.Row
object exercise{
def main(args:Array[String]){
val pRDD = spark.sparkContext.parallelize(Array("3,Mary,F,26","4,Tom,M,23")).map(_.split(" "))
//设置的两条信息
val schema = StructType(List(StructField("id",IntegerType,true),StructField("name",StringType,true),StructField("gender",StringType,true),StructField("age",IntegerType,true)))
//设置模式的信息（表头）
val rowRDD = pRDD.map(p=> Row(p(0).toInt,p(1).trim,p(2).trim,p(3).toInt))
//创建ROW对象，每一个row对象都是rowRDD中的一行
val studentDF = spark.createDataFrame(rowRDD,schema)
//建立起Row对象和模式之间的对应关系，把数据和模式对应起来
val prop=new Properties()
//创建prop变量保存JDBC连接参数
prop.put("user","root")
prop.put("password","hadoop")
prop.put("driver","com.mysql.jdbc.Driver")
studentDF.write.mode("append").jdbc("jdbc:mysql://localhost:3306/sparktest", "spark.employee", prop)
val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/sparktest").option("driver","com.mysql.jdbc.Driver").optio n("dbtable","employee").option("user","root").option("password", "hadoop").load()
jdbcDF.agg("age" -> "max", "age" -> "sum")
}
}
