摘要: 第一点: scala的接口trait中所有方法可以都被实现!! 这种情况一般会是一种工具方法的集合,例如接口 Logging! scala 多种继承用extends ... with .... 在老师讲解的1.6.X版本中Spark继承采用的是class SparkContext(config:Sp 阅读全文
posted @ 2018-11-20 19:29 Mars、少年 阅读(230) 评论(0) 推荐(0) 编辑
摘要: isInstanceOf 和 asInstanceOf is用于判断 as用于转换,把父类类型转换成子类类型 getClass 具体找出类型 阅读全文
posted @ 2018-11-20 18:39 Mars、少年 阅读(139) 评论(0) 推荐(0) 编辑
摘要: scala类和对象 RDD中创建_sc和deps相比java更加的简洁。 在Spark的例如SparkContext、sqlSpark等全局成员在完成实例化。 在唯一实例的时候一般不会去使用伴生对象apply方法。 伴生类和伴生对象必须写在同一个文件之中。 阅读全文
posted @ 2018-11-20 17:13 Mars、少年 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 本课内容1.Map和Tuple在Spark源码中的鉴赏2.Map和Tuple代码操作实战 /** * Scala中最常见的两种数据结构:Map 和 Tuple * * Map初步感受就是key,value方式,key即是值的索引,排列非常规按照Hash的方式, * 不是说插入了3个元素后第4个就在第 阅读全文
posted @ 2018-11-20 13:52 Mars、少年 阅读(271) 评论(0) 推荐(0) 编辑
摘要: /** * 如果有这些语法的支持,我们说这门语言是支持面向对象的语言 * 其实真正面向对象的精髓是不是封装、继承、多态呢? * >肯定不是,封装、继承、多态,只不过是支撑面向对象的 * 一些语言级别的语法和功能,真正的面向对象其实有三个核心特征: * 第一:对象不用关心消息从哪里来,也不关心消息到哪 阅读全文
posted @ 2018-11-20 13:28 Mars、少年 阅读(112) 评论(0) 推荐(0) 编辑
摘要: 本课内容1.Spark中Scala集合操作鉴赏2.Scala集合操作实战 /** * 大数据技术是数据的集合以及对数据集合的操作技术的统称,具体来说: * 1.数据集合:会涉及数据的搜集、存储等,搜集会有很多技术,存储现在比较经典的是使用Hadoop, * 也有很多情况使用Kafka(消息中间件,也 阅读全文
posted @ 2018-11-20 13:23 Mars、少年 阅读(217) 评论(0) 推荐(0) 编辑