他山之石·玉 - 博客园

2019年6月4日

摘要：一，RDD概述 1.1 什么是RDD 1.2 RDD的属性二，创建RDD 三，RDD编程API 3.1 Transformation 3.2 Action 3.3 WordCount 3.4 练习四，RDD的依赖关系 4.1 窄依赖 4.2 宽依赖 4.3 Lineage 正文一，RDD概述阅读全文

posted @ 2019-06-04 21:43 他山之石·玉阅读(647) 评论(0) 推荐(0) 编辑

Spark 学习（二） spark任务提交流程

摘要：一，简介二，角色介绍三，启动流程图正文一，简介 Standalone模式下，集群启动时包括Master与Worker，其中Master负责接收客户端提交的作业，管理Worker。提供了Web展示集群与作业信息。二，角色介绍 Client（SparkSubmit）：客户端进程，负责提交作业到阅读全文

posted @ 2019-06-04 19:18 他山之石·玉阅读(754) 评论(0) 推荐(0) 编辑

2019年6月3日

Spark 学习（一）初识

摘要：一，Spark概述 1.1 什么是Spark 1.2 Spark的产生背景 1.3 Spark的特点二，Spark集群安装 2.1 集群部署 2.2 Spark下载 2.3 Spark配置 2.4 启动三，执行Spark程序 3.1 执行第一个Spark程序 3.2 启动Spark shell 阅读全文

posted @ 2019-06-03 19:20 他山之石·玉阅读(403) 评论(0) 推荐(0) 编辑

2019年6月2日

Scala 学习（八）高级语法

摘要：一，隐式（implicit）详解 1.1 隐式简介 1.2 隐式参数 1.3 隐式转换类型 1.4 隐式类二，泛型三，类型约束 3.1 上界(Upper Bounds)和下届(Lower Bounds) 3.2 视图界定/上下文界定正文一，隐式（implicit）详解 1.1 隐式简介思考阅读全文

posted @ 2019-06-02 23:12 他山之石·玉阅读(639) 评论(0) 推荐(0) 编辑

Scala 学习（七）并发编程模型Akka

摘要：一，Akka简介二，Akka中的Actor模型三，Akka实战案例之HelloActor 四，Akka实战案例之PingPong 五，案例基于 Actor 的聊天模型六，用Akka实现Spark的Master和worker之间相互通信正文一，Akka简介写并发程序很难。程序员不得不处理线阅读全文

posted @ 2019-06-02 00:18 他山之石·玉阅读(378) 评论(0) 推荐(0) 编辑

2019年6月1日

Scala 学习（六）面向对象

摘要：一，scala单例对象二，scala类 2.1 类定义，主构造器，赋值构造器 2.2 访问权限 2.3 伴生类，apply方法三，特质四，抽象类五，继承 5.1 final关键字 5.2 type关键字六，样例类，样例对象七，匹配模式 7.1 匹配字符串，类型，守卫 7.2 匹配数组 7 阅读全文

posted @ 2019-06-01 12:45 他山之石·玉阅读(283) 评论(0) 推荐(0) 编辑

2019年5月31日

Scala 学习（五） Set和HashSet

摘要：一，简介二，Set 三，HashSet 正文一，简介 Set是最简单的一种集合。集合中的对象不按特定的方式排序，并且没有重复对象。二，Set 不可变集合，一旦定义内容和长度都不可变。三，HashSet 可变Set，相对来说会有比较多的方法调用。阅读全文

posted @ 2019-05-31 15:58 他山之石·玉阅读(2107) 评论(0) 推荐(0) 编辑

Scala 学习（四）集合之List

摘要：一，简介二，不可变List 三，可变ListBuffer 正文一，简介 Scala 列表类似于数组，它们所有元素的类型都相同，但是它们也有所不同：列表是不可变的，值一旦被定义了就不能改变，其次列表具有递归的结构（也就是链接表结构）而数组不是。而ListBuffer元素和长度都是可变的。该多用L 阅读全文

posted @ 2019-05-31 14:22 他山之石·玉阅读(603) 评论(0) 推荐(0) 编辑

Scala 学习（三）集合之数组

摘要：一，简介二，定义数组 2.1 定义普通数组 2.2 定义可变数组三，数组常用方法 3.1 数组通用方法 3.2 可变数组常用方法正文一，简介数组中某个指定的元素是通过索引来访问的。数组一旦定义完毕，可以改变其内部的元素，单不可以改变数组的长度。二，定义数组 2.1 定义普通数组 2.2 阅读全文

posted @ 2019-05-31 13:52 他山之石·玉阅读(274) 评论(0) 推荐(0) 编辑

Scala 学习（二）方法和函数

摘要：一，方法和函数 1.1 方法的定义和调用 1.2 函数的定义和调用二，传值调用和传名调用三，函数的参数 3.1 可变参数函数 3.2 默认参数函数四，高阶函数五，函数进阶使用 5.1 柯里化（Currying） 5.2 偏函数正文一，方法和函数 1.1 方法的定义和调用方法的返回值类型阅读全文

posted @ 2019-05-31 09:49 他山之石·玉阅读(363) 评论(0) 推荐(0) 编辑

他山之石

公告