摘要： 实践 MapReduce编程之wordcount MapReduce编程之Combiner 本地reduce（map端reduce） 减少Map Tasks输出的数据量及数据网络传输量 combiner案例开发 本地reduce（map端reduce） 减少Map Tasks输出的数据量及数据网络传 阅读全文

摘要： 架构 MapReduce1.x JobTracker：JT（作业管理者） 将作业分解成一堆的任务：Task（MapTask和ReduceTask） 将任务分派给TaskTracker运行 作业的监控、容错处理（Task作业挂了，重启task的机制） 在一定的时间间隔内，JT没有收到TT的心跳信息，T 阅读全文

摘要： MapReduce编程模型之案例 wordcount 输入数据 atguigu atguiguss sscls clsjiaobanzhangxuehadoop 输出数据 atguigu 2banzhang 1cls 2hadoop 1jiao 1ss 2xue 1 Mapper 将MapTask传 阅读全文

摘要： MapReduce 概述 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用"的核心框架 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 MapRedcue优点： 海量数据 阅读全文

摘要： 针对集合的操作 列表的遍历 列表的遍历 也可以使用foreach进行遍历： 也可以使用foreach进行遍历： 映射的遍历 映射的遍历 格式 格式 也可以使用foreach来实现对映射的遍历 也可以使用foreach来实现对映射的遍历 也可以尝试使用下面形式来遍历 也可以尝试使用下面形式来遍历 ma 阅读全文

摘要： 函数式编程基础 函数定义和高阶函数 字面量包括整数字面量、浮点数字面量、布尔型字面量、字符字面 量、字符串字面量、符号字面量、函数字面量和元组字面量。 字面量包括整数字面量、浮点数字面量、布尔型字面量、字符字面 量、字符串字面量、符号字面量、函数字面量和元组字面量。 除了函数字面量我们会比较陌生以外 阅读全文

摘要： 模式匹配 简单匹配 Scala的模式匹配最常用于match语句中。下面是一个简单的整型值的匹配实例 Scala的模式匹配最常用于match语句中。下面是一个简单的整型值的匹配实例 另外，在模式匹配的case语句中，还可以使用变量。 另外，在模式匹配的case语句中，还可以使用变量。 类型模式 Sca 阅读全文

摘要： 特质 特质概述 Java中提供了接口，允许一个类实现任意数量的接口 在Scala中没有接口的概念，而是提供了“特质(trait) ”，它不仅实 现了接口的功能，还具备了很多其他的特性 Scala的特质，是代码重用的基本单元，可以同时拥有抽象方法和具体方法 Scala中，一个类只能继承自一个超类，却可 阅读全文

摘要： 继承 Scala与Java在继承方面的区别 Scala中的继承与Java有着显著的不同： 重写一个非抽象方法必须使用override修饰符 只有主构造器可以调用超类的主构造器 在子类中重写超类的抽象方法时，不需要使用override关键字 可以重写超类中的字段。 Scala和Java一样，不允许类从 阅读全文

摘要： 对象 单例对象 Scala并没有提供Java那样的静态方法或静态字段，但是，可以采用 object关键字实现单例对象，具备和Java静态方法同样的功能。 可以看出，单例对象的定义和类的定义很相似，明显的区分是，用object 关键字，而不是用class关键字 Scala并没有提供Java那样的静态方 阅读全文