摘要: RDD WordCount处理流程 sc.textFile("/root/temp/data.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect 调用任务过程 客户端将任务通过SparkContext对象提交给Manager 阅读全文
posted @ 2020-06-08 20:14 cxc1357 阅读(119) 评论(0) 推荐(0)
摘要: 概述 属于行为型模式 将集合的遍历行为抽取为单独的迭代器对象 所有迭代器实现相同的接口,只要有合适的迭代器,客户端代码就能兼容任何类型的集合或遍历算法,如需采用特殊方法遍历集合,创建一个新的迭代器即可,而无需对集合或客户端进行修改 集合对象内部结构常常变化各异,但对于这些集合对象,我们希望在不暴露其 阅读全文
posted @ 2020-06-08 15:26 cxc1357 阅读(167) 评论(0) 推荐(0)
摘要: 概述 “行为变化”模式:组件构建过程中,组件行为的变化经常会导致组件本身剧烈的变化。“行为变化”模式将组件的行为和组件本身进行解耦,从而支持组件行为的变化,实现两者之间的松耦合 动机:在软件构建过程中,“行为请求者”与“行为实现者”通常呈现一种“紧耦合”。但在某些场合——如需要对行为进行“记录、撤销 阅读全文
posted @ 2020-06-08 11:43 cxc1357 阅读(182) 评论(0) 推荐(0)