摘要: 在Scala中存在case class,它其实就是一个普通的class。但是它又和普通的class略有区别,如下: 1、初始化的时候可以不用new,当然你也可以加上,普通类一定需要加new; scala> case class Iteblog(name:String) defined class I 阅读全文
posted @ 2020-03-30 16:51 guoyu1 阅读(2596) 评论(0) 推荐(0)
摘要: 1、为什么Spark会选择Scala可能更有意义一点。 Spark主创Matei在不同场合回答两次这个问题,思考的点稍微不一样,但重点是一样的,很适合回答题主的问题。总结来说最主要有三点: (1)API能做得优雅; 这是框架设计师第一个要考虑的问题,框架的用户是应用开发程序员,API是否优雅直接影响 阅读全文
posted @ 2020-03-30 16:17 guoyu1 阅读(1319) 评论(0) 推荐(0)
摘要: 1、spark中一个job中的某个task卡顿不动了: https://blog.csdn.net/fct2001140269/article/details/103732120 解决思路: (1)是否有数据倾斜的可能。 (2)查看cpu,内存是否异常,cpu是否被打满,若被打满,查看到底是哪个进程 阅读全文
posted @ 2020-03-30 10:25 guoyu1 阅读(407) 评论(0) 推荐(0)