宥宁

摘要： 编程实现利用 DataFrame 读写 MySQL 的数据 （1）在 MySQL 数据库中新建数据库 sparktest，再创建表 employee，包含如表 6-2 所示的两行数据。 表 6-2 employee 表原有数据 （2）配置 Spark 通过 JDBC 连接数据库 MySQL，编程实现 阅读全文

摘要： Spark SQL 基本操作将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":36 }{ "id":2, "name":"Bob","age":29 }{ "id":3 , "name 阅读全文

摘要： package com.hollysys.spark import java.util import org.apache.spark.sql.types._ import org.apache.spark.sql.{Row, SQLContext, SparkSession} /** * Crea 阅读全文

摘要： with open() as file是由open()函数引申而来 fp = open("./aa.txt", "w+") fp.write("This is a text file.") fp.close() 上面是一个open()函数的例子，在用完之后必须关闭文件，否则就造成了系统资源的长期占用 阅读全文

摘要： （1）编写独立应用程序实现数据去重 package my.scala import org.apache.spark.{SparkConf, SparkContext} object case2 { def main(args: Array[String]): Unit = { val conf = 阅读全文

摘要： 1.keys 功能： 返回所有键值对的key 示例 val list = List("hadoop","spark","hive","spark") val rdd = sc.parallelize(list) val pairRdd = rdd.map(x => (x,1)) pairRdd.ke 阅读全文

摘要： spark-shell交互式编程： 根据某大学计算机系的成绩数据，完成编程，数据格式如下 1.该系共有多少个学生： 首先新建RDD 通过map函数与分割函数得到第一列数据作为新的RDD RDD去重 行数 2.该系共开设多少课程： 3.求Tom同学的平均分： 通过filter函数进行筛选 计算总数 求 阅读全文

摘要： （1）下载sbt https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar （2）新建目录并将sbt复制到目录下 （3）编辑sbt文本文件加入以下内容： #!/bin 阅读全文

摘要： HDFS 常用操作 使用 Hadoop 提供的 Shell 命令完成如下操作： （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop”； （2） 在 Linux 系统的本地文件系统的“/home/hadoop”目录下新建一个文本文件test.txt，并在该文件中随便输入 阅读全文

摘要： class之前添加case可以自动生成equal、hashcode、toString、copy方法 和他的半生对象，并且为半生对象生成apply、unapply方法。 import scala.language.postfixOps case class ForFun(name:String) ob 阅读全文