guoyu1 - 博客园

2020年3月30日

摘要：在Scala中存在case class，它其实就是一个普通的class。但是它又和普通的class略有区别，如下： 1、初始化的时候可以不用new，当然你也可以加上，普通类一定需要加new； scala> case class Iteblog(name:String) defined class I 阅读全文

posted @ 2020-03-30 16:51 guoyu1 阅读(2596) 评论(0) 推荐(0)

spark为什么用scala语言开发

摘要： 1、为什么Spark会选择Scala可能更有意义一点。 Spark主创Matei在不同场合回答两次这个问题，思考的点稍微不一样，但重点是一样的，很适合回答题主的问题。总结来说最主要有三点：（1）API能做得优雅; 这是框架设计师第一个要考虑的问题，框架的用户是应用开发程序员，API是否优雅直接影响阅读全文

posted @ 2020-03-30 16:17 guoyu1 阅读(1319) 评论(0) 推荐(0)

spark开发常见问题

摘要： 1、spark中一个job中的某个task卡顿不动了： https://blog.csdn.net/fct2001140269/article/details/103732120 解决思路：（1）是否有数据倾斜的可能。（2）查看cpu，内存是否异常，cpu是否被打满，若被打满，查看到底是哪个进程阅读全文

posted @ 2020-03-30 10:25 guoyu1 阅读(407) 评论(0) 推荐(0)

2020年3月26日

java实现多继承

摘要： https://blog.csdn.net/weixin_42617262/article/details/85344819 1、多层继承 2、内部类 3、接口 java中父类与子类有相同属性调谁？取决于左边 https://blog.csdn.net/HD243608836/article/det 阅读全文

posted @ 2020-03-26 09:56 guoyu1 阅读(1348) 评论(0) 推荐(0)

2020年3月24日

数仓分层

摘要： 1、什么是数据仓库数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 2、数仓为什么要分阅读全文

posted @ 2020-03-24 15:20 guoyu1 阅读(602) 评论(0) 推荐(0)

2020年3月20日

顶级父类Object类

摘要：直接一点上图(使用的是JDK1.7的源码)：Object类总共13个方法 1．clone方法保护方法，实现对象的浅复制，只有实现了Cloneable接口才可以调用该方法，否则抛出CloneNotSupportedException异常。主要是JAVA里除了8种基本类型传参数是值传递，其他的类对象阅读全文

posted @ 2020-03-20 14:52 guoyu1 阅读(195) 评论(0) 推荐(0)

Spring的IOC原理

摘要： https://www.liaoxuefeng.com/wiki/1252599548343744/1282381977747489 阅读全文

posted @ 2020-03-20 10:34 guoyu1 阅读(127) 评论(0) 推荐(0)

equels、hashCode

摘要： 1、==与eques == : 它的作用是判断两个对象的地址是不是相等。即，判断两个对象是不是同一个对象。(基本数据类型==比较的是值，引用数据类型==比较的是内存地址) equals() : 它的作用也是判断两个对象是否相等。但它一般有两种使用情况：情况1：类没有覆盖 equals() 方法。则阅读全文

posted @ 2020-03-20 09:51 guoyu1 阅读(568) 评论(0) 推荐(0)

CDH

摘要： 1、CDH： CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。简单来说：阅读全文

posted @ 2020-03-20 08:44 guoyu1 阅读(467) 评论(0) 推荐(0)

2020年3月17日

sparkStreaming滑动窗口操作

摘要：一、sparkStreaming窗口函数概念： 1、reduceByKeyAndWindow（_+_,Seconds(3), Seconds(2)）可以看到我们定义的window窗口大小Seconds(3s) ，是指每2s滑动时，需要统计前3s内所有的数据。 2、重载函数reduceByKeyAn 阅读全文

posted @ 2020-03-17 10:19 guoyu1 阅读(1287) 评论(1) 推荐(0)

打怪up

公告