摘要：
apply 可以理解为注入 unapply unapplySeq 可以理解为提取 apply 与 unapply 虽然名字相近，但是使用起来区别挺大。apply有点像构造函数unapply主要是结合模式匹配进行提取工作unapply 与 unapplySeq的共同点是返回值类型都是Option，区别 阅读全文
posted @ 2018-10-27 16:35
大葱拌豆腐
阅读(472)
评论(0)
推荐(0)
摘要：
val words = *** //在words被定义时取值 lazy val words = *** //在words被首次使用时取值 def words = *** //在每一次words被使用时取值 阅读全文
posted @ 2018-10-27 16:23
大葱拌豆腐
阅读(510)
评论(0)
推荐(0)
摘要：
近期有需求，要根据解析字符串，根据字符串的内容去调用方法。想到的基本就是使用反射。但是基本上能找到的资料，全没有讲scala的反射。只有零星点点的讲解。大部分都是用scala的语法写java反射最后翻了翻scala的官方文档 发现还在实验阶段。一不做二不休，索性两种反射方式都来尝试尝试。其实两种方式 阅读全文
posted @ 2018-10-27 16:21
大葱拌豆腐
阅读(4055)
评论(0)
推荐(1)
摘要：
摘要： RDD：弹性分布式数据集，是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作。 RDD有两种操作算子： Transformation（转换）：Transformation属于延迟计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记住了数据集的逻辑 阅读全文
posted @ 2018-10-27 11:59
大葱拌豆腐
阅读(2393)
评论(0)
推荐(0)
摘要：
一、基本介绍 rdd.aggregateByKey(3, seqFunc, combFunc) 其中第一个函数是初始值 3代表每次分完组之后的每个组的初始值。 seqFunc代表combine的聚合逻辑 每一个mapTask的结果的聚合成为combine combFunc reduce端大聚合的逻辑 阅读全文
posted @ 2018-10-27 10:27
大葱拌豆腐
阅读(4201)
评论(0)
推荐(0)
浙公网安备 33010602011771号