scrapy学习五

今天完成了实验五：

1．Spark SQL 基本操作

将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":36 } { "id":2, "name":"Bob","age":29 } { "id":3 , "name":"Jack","age":29 } { "id":4 , "name":"Jim","age":28 } { "id":4 , "name":"Jim","age":28 } { "id":5 , "name":"Damon" } { "id":5 , "name":"Damon" } 为 employee.json 创建 DataFrame，并写出 Scala 语句完成下列操作：

(1)查询所有数据；

 

(2)查询所有数据，并去除重复的数据；

1.  

2. (3)查询所有数据，打印时去除 id 字段；

 (4)

(4)(筛选出 age>30 的记录；

 

(5)将数据按 age 分组；

 

(6)将数据按 name 升序排列；

 

(7)取出前 3 行数据；

 

(8)查询所有记录的 name 列，并为其取别名为 username；

 

(9)查询年龄 age 的平均值；

 

(10)查询年龄 age 的最小值。

 

2．编程实现将 RDD 转换为 DataFrame

源文件内容如下（包含 id,name,age）： 1,Ella,36 2,Bob,29 3,Jack,29  请将数据复制保存到 Linux 系统中，命名为 employee.txt，实现从 RDD 转换得到 DataFrame，并按“id:1,name:Ella,age:36”的格式打印出 DataFrame 的所有数据。请写出程序代码。

 

 

 import org.apache.spark.SparkConf

import org.apache.spark.SparkContext

import org.apache.spark.sql.SparkSession

object RDDtoDF {

  case class Employee(id:Long,name:String,age:Long)

  def main(args: Array[String]) {

    val conf = new SparkConf()

    conf.setMaster("local")

      .setAppName("RDDtoDF")

    val sc = new SparkContext(conf)

    val spark = SparkSession.builder.getOrCreate

    import spark.implicits._

    val employeeDF = sc.textFile("file:///usr/local/spark/examples/src/main/resources/employee.txt")

      .map(_.split(","))

      .map(attributes => Employee(attributes(0).trim.toInt, attributes(1), attributes(2).trim.toInt)).toDF()

    employeeDF.createOrReplaceTempView("employee")

    var employeeRDD = spark.sql("select id,name,age from employee")

    employeeRDD.map(t=>"id:"+t(0)+"name:"+t(1)+"age:"+t(2)).show()

  }

}

 

3. 编程实现利用 DataFrame 读写 MySQL 的数据

（1）在 MySQL 数据库中新建数据库 sparktest，再创建表 employee，包含如表 6-2 所示的两行数据。表 6-2 employee 表原有数据 id name gender Age 1 Alice F 22 2 John M 25

 

（2）配置 Spark 通过 JDBC 连接数据库 MySQL，编程实现利用 DataFrame 插入如表 6-3 所示的两行数据到 MySQL 中，最后打印出 age 的最大值和 age 的总和。表 6-3 employee 表新增数据 id name gender age 3 Mary F 26 4 Tom M 23

 

 

 import java.util.Properties

import org.apache.spark.sql.types._

import org.apache.spark.sql.Row



object exercise{

          def main(args:Array[String]){

           

                val pRDD = spark.sparkContext.parallelize(Array("3,Mary,F,26","4,Tom,M,23")).map(_.split(" "))

                 //设置的两条信息

                val schema = StructType(List(StructField("id",IntegerType,true),StructField("name",StringType,true),StructField("gender",StringType,true),StructField("age",IntegerType,true)))

                 //设置模式的信息（表头）

                val rowRDD = pRDD.map(p=> Row(p(0).toInt,p(1).trim,p(2).trim,p(3).toInt))

                 //创建ROW对象，每一个row对象都是rowRDD中的一行

                 val studentDF = spark.createDataFrame(rowRDD,schema)

                  //建立起Row对象和模式之间的对应关系，把数据和模式对应起来

                  val prop=new Properties()

                  //创建prop变量保存JDBC连接参数

                   prop.put("user","root")

                   prop.put("password","hadoop")

                   prop.put("driver","com.mysql.jdbc.Driver")

                   studentDF.write.mode("append").jdbc("jdbc:mysql://localhost:3306/sparktest", "spark.employee", prop)

                   val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/sparktest").option("driver","com.mysql.jdbc.Driver").optio n("dbtable","employee").option("user","root").option("password", "hadoop").load()

                   jdbcDF.agg("age" -> "max", "age" -> "sum")  



}









}