上一页 1 2 3 4 5 6 7 ··· 14 下一页
摘要:一、Flow 2.0 简介 1.1 Flow 2.0 的产生 Azkaban 目前同时支持 Flow 1.0 和 Flow2.0 ,但是官方文档上更推荐使用 Flow 2.0,因为 Flow 1.0 会在将来的版本被移除。Flow 2.0 的主要设计思想是提供 1.0 所没有的流级定义。用户可以将属 阅读全文
posted @ 2020-06-29 16:12 数据驱动 阅读(555) 评论(0) 推荐(0) 编辑
摘要:一、简介 Azkaban 主要通过界面上传配置文件来进行任务的调度。它有两个重要的概念: Job: 你需要执行的调度任务; Flow:一个获取多个 Job 及它们之间的依赖关系所组成的图表叫做 Flow。 目前 Azkaban 3.x 同时支持 Flow 1.0 和 Flow 2.0,本文主要讲解 阅读全文
posted @ 2020-06-29 16:06 数据驱动 阅读(228) 评论(0) 推荐(0) 编辑
摘要:一、Azkaban 源码编译 1.1 下载并解压 Azkaban 在 3.0 版本之后就不提供对应的安装包,需要自己下载源码进行编译。 下载所需版本的源码,Azkaban 的源码托管在 GitHub 上,地址为 https://github.com/azkaban/azkaban 。可以使用 git 阅读全文
posted @ 2020-06-29 15:58 数据驱动 阅读(241) 评论(0) 推荐(0) 编辑
摘要:一、Azkaban 介绍 1.1 背景 一个完整的大数据分析系统,必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成,所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题: 如何定时调度某个任务? 如何在某个任务执行完成后再去执行另一个任务? 如何 阅读全文
posted @ 2020-06-29 15:53 数据驱动 阅读(213) 评论(0) 推荐(0) 编辑
摘要:一、隐式转换 1.1 使用隐式转换 隐式转换指的是以 implicit 关键字声明带有单个参数的转换函数,它将值从一种类型转换为另一种类型,以便使用之前类型所没有的功能。示例如下: // 普通人 class Person(val name: String) // 雷神 class Thor(val 阅读全文
posted @ 2020-06-29 10:19 数据驱动 阅读(147) 评论(0) 推荐(0) 编辑
摘要:一、泛型 Scala 支持类型参数化,使得我们能够编写泛型程序。 1.1 泛型类 Java 中使用 <> 符号来包含定义的类型参数,Scala 则使用 []。 class Pair[T, S](val first: T, val second: S) { override def toString: 阅读全文
posted @ 2020-06-29 10:17 数据驱动 阅读(183) 评论(0) 推荐(0) 编辑
摘要:一、模式匹配 Scala 支持模式匹配机制,可以代替 swith 语句、执行类型检查、以及支持析构表达式等。 1.1 更好的swith Scala 不支持 swith,可以使用模式匹配 match...case 语法代替。但是 match 语句与 Java 中的 switch 有以下三点不同: Sc 阅读全文
posted @ 2020-06-29 10:14 数据驱动 阅读(148) 评论(0) 推荐(0) 编辑
摘要:一、函数 1.1 函数与方法 Scala 中函数与方法的区别非常小,如果函数作为某个对象的成员,这样的函数被称为方法,否则就是一个正常的函数。 // 定义方法 def multi1(x:Int) = {x * x} // 定义函数 val multi2 = (x: Int) => {x * x} p 阅读全文
posted @ 2020-06-29 10:12 数据驱动 阅读(113) 评论(0) 推荐(0) 编辑
摘要:一、继承 1.1 Scala中的继承结构 Scala 中继承关系如下图: Any 是整个继承关系的根节点; AnyRef 包含 Scala Classes 和 Java Classes,等价于 Java 中的 java.lang.Object; AnyVal 是所有值类型的一个标记; Null 是所 阅读全文
posted @ 2020-06-29 10:10 数据驱动 阅读(338) 评论(0) 推荐(0) 编辑
摘要:一、初识类和对象 Scala 的类与 Java 的类具有非常多的相似性,示例如下: // 1. 在 scala 中,类不需要用 public 声明,所有的类都具有公共的可见性 class Person { // 2. 声明私有变量,用 var 修饰的变量默认拥有 getter/setter 属性 p 阅读全文
posted @ 2020-06-29 10:07 数据驱动 阅读(160) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 14 下一页