摘要：
domain层开发及测试数据准备修改pom.xml配置文件创建四层结构在domain层,创建Orders.class和Iterms.class两个类Orders.classimport lombok.Data;import javax.persistence.Entity;import javax.persistence.Id;import javax.persistence.Table;@E... 阅读全文
posted @ 2019-04-30 17:32
BBBone
阅读(363)
评论(0)
推荐(0)
摘要：
使用Scala语言开发时，自动生成get和set方法 不用写return进行返回， 因为它的最后一行就是返回值先建立四个层(层层递进)domain 表结构的建立repository(DAO) 实现接口层service 实现业务层controller 实现控制层domain层开发MetaTable.scalapackage com.imooc.imoocb... 阅读全文
posted @ 2019-04-30 17:30
BBBone
阅读(253)
评论(0)
推荐(0)
摘要：
方式一： 通过case class创建DataFrames（反射）TestDataFrame1.scalapackage com.bky// 隐式类的导入// 定义case class，相当于表结构case class Dept(var id:Int, var position:String, var location:String)// 需要导入SparkSession这个包import org... 阅读全文
posted @ 2019-04-30 17:29
BBBone
阅读(2397)
评论(0)
推荐(0)
摘要：
在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种：UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等UDAF（User- Defined Aggregation Funcation），用户自定义聚合函数，类似在group by之后使用的sum,avg等UDTF(User-Defined Table-Generat... 阅读全文
posted @ 2019-04-30 17:28
BBBone
阅读(411)
评论(0)
推荐(0)
摘要：
开始编写我们的统计逻辑，使用row_number()函数先说明一下，row_number()开窗函数的作用其实就是给每个分组的数据，按照其排序顺序，打上一个分组内行号比如说，有一个分组20151001，里面有三条数据，1122，1121，1124那么对这个分组的每一行使用row_number()开窗函数以后，三行依次会获得一个组内的行号行号从1开始递增，比如1122，1 1121，2 1124... 阅读全文
posted @ 2019-04-30 17:28
BBBone
阅读(7367)
评论(0)
推荐(0)
摘要：
基于Spark Streaming&Flume&Kafka打造通用流处理平台整合日志输出到Flume整合Flume到Kafka整合Kafka到Spark StreamingSpark Streaming对接收到的数据进行处理异常:java.lang.ClassNotFoundException:org.apache.flume.clients.log4jappender.Log4jAppender... 阅读全文
posted @ 2019-04-30 17:27
BBBone
阅读(251)
评论(0)
推荐(0)
摘要：
Java NIO I/O模型什么是同步: 若果有多个任务或者事件要发生,这些任务或者事件必须逐个地进行,一个事件或者任务的执行都会导致整个流程的暂时等待,这些事件没有办法并发地执行.什么是异步: 如果有多个任务或者事件发生,这些事件可以并发地执行,一个事件或者任务的执行不会导致整个流程的暂时等待. 重点: 判断同步还是异步,就看同时多个任务和事件发生时,一个事件的发生或执... 阅读全文
posted @ 2019-04-30 17:22
BBBone
阅读(82)
评论(0)
推荐(0)
摘要：
总结:HBase是一个分布式的数据库主要作用: 海量数据的存储和海量数据的准实时查询一、HBase的应用场景应用场景 交通 、金融、电商、移动 HBase特点 (重点): 针对特点去思考 容量大(针对TB级别的数据,千万起步) 列式存储(根据数据自动增加列),建表时不需要指定列 多版本(针对具体列,进行管理) 扩展性(在分布式文件系统,不需要停掉集群,可在集群... 阅读全文
posted @ 2019-04-30 17:21
BBBone
阅读(163)
评论(0)
推荐(0)
摘要：
 阅读全文
posted @ 2019-04-30 17:20
BBBone
阅读(91)
评论(0)
推荐(0)
摘要：
数据清洗时间工具类开发:DateUtils.scalapackage com.imooc.utilsimport java.util.Dateimport org.apache.commons.lang3.time.FastDateFormat/** * 日期时间工具类 */object DateUtils {// 2019-03-31 06:00:00 val YYYYMMDDHHMMS... 阅读全文
posted @ 2019-04-30 17:17
BBBone
阅读(139)
评论(0)
推荐(0)
浙公网安备 33010602011771号