摘要: (摘自xiaohu_bigdata) Spark最初由美国加州伯克利大学的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。 Spark特点Spark具有如下几个主要特点: 运行速度快:Spark使用先进的DAG(Directed Acyc 阅读全文
posted @ 2021-07-16 22:01 坤坤无敌 阅读(263) 评论(0) 推荐(0)
摘要: package scala import java.io.{FileNotFoundException, FileReader} object Demo31Exception { def main(args: Array[String]): Unit = { /** * 异常处理 * */ try 阅读全文
posted @ 2021-07-15 22:43 坤坤无敌 阅读(31) 评论(0) 推荐(0)
摘要: package scala object Demo28Implicit { def main(args: Array[String]): Unit = { /** * 显示类型转换 * */ val s: String = "1000" //显示转换 val int: Int = s.toInt / 阅读全文
posted @ 2021-07-15 22:42 坤坤无敌 阅读(81) 评论(0) 推荐(0)
摘要: package scala import java.io object Demo27Match { def main(args: Array[String]): Unit = { /** * java中的模式匹配可以匹配,基本数据类型,字符串,枚举 * * scala中的模式匹配,可以匹配基本数据类 阅读全文
posted @ 2021-07-15 22:40 坤坤无敌 阅读(141) 评论(0) 推荐(0)
摘要: 题目:统计每科都及格的学生 package scala import scala.io.Source object Demo26Student2 { def main(args: Array[String]): Unit = { /** * * 3、统计每科都及格的学生 * */ //1、计算每隔科 阅读全文
posted @ 2021-07-15 22:39 坤坤无敌 阅读(118) 评论(0) 推荐(0)
摘要: 题目: 1、统计学生的总分2、统计总分年级排名前十学生各科的分数3、统计总分大于年级平均分的学生 package scala import scala.io.Source object Demo25Score { def main(args: Array[String]): Unit = { /** 阅读全文
posted @ 2021-07-15 22:37 坤坤无敌 阅读(118) 评论(0) 推荐(0)
摘要: package scala import scala.io.Source object Demo24Student1 { def main(args: Array[String]): Unit = { /** * * 1、统计班级人数 * */ //1、读取数据 val students: List 阅读全文
posted @ 2021-07-15 22:34 坤坤无敌 阅读(80) 评论(0) 推荐(0)
摘要: 1、hive的架构 1)用户接口:Client CLI(command-line interface)、JDBC/ODBC(jdbc 访问 hive)、WEBUI(浏览器访问 hive) 2)元数据:Metastore 元数据包括:表名、表所属的数据库(默认是 default)、表的拥有者、列/分区 阅读全文
posted @ 2021-07-14 23:42 坤坤无敌 阅读(655) 评论(0) 推荐(0)
摘要: 1、hadoop常用端口号 hadoop2.x Hadoop3.x 访问HDFS端口 50070 9870 访问MR执行情况端口 8088 8088 历史服务器 19888 19888 客户端访问集群端口 9000 8020 2、hadoop集群搭建 hadoop搭建流程概述: (1)准备三个客户端 阅读全文
posted @ 2021-07-14 19:27 坤坤无敌 阅读(293) 评论(0) 推荐(0)
摘要: 计算平均年龄 package scala import scala.io.Source object Demo23Student { def main(args: Array[String]): Unit = { /** * 统计班级的平均年龄 * */ //1、读取学生数据 val student 阅读全文
posted @ 2021-07-14 11:25 坤坤无敌 阅读(86) 评论(0) 推荐(0)