2022 年 4月 11 日随笔档案 - yanqi_vip

|NO.Z.00006|——————————|^^ 配置 ^^|——|Hadoop&Spark.V06|——|Spark.v06|sparkcore|Spark-Standalone集群模式|core|mamory|

摘要：一、集群模式--Standalone模式 ### 集群模式--Standalone模式 ~~~ 参考：http://spark.apache.org/docs/latest/spark-standalone.html ~~~ 分布式部署才能真正体现分布式计算的价值 ~~~ 与单机运行的模式不同，这里阅读全文

posted @ 2022-04-11 20:17 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00005|——————————|^^ 配置 ^^|——|Hadoop&Spark.V05|——|Spark.v05|sparkcore|spark伪分布式模式|

摘要：一、伪分布式 ### 伪分布式 ~~~ # 伪分布式模式：在一台机器中模拟集群运行，相关的进程在同一台机器上； ~~~ # 备注：不用启动集群资源管理服务； ~~~ local-cluster[N,cores,memory] ~~~ N模拟集群的 Slave（或worker）节点个数 ~~~ cor 阅读全文

posted @ 2022-04-11 20:16 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00002|——————————|BigDataEnd|——|Hadoop&Spark.V02|——|Spark.v02|sparkcore|概述|

摘要：一、Spark概述 ### 什么是Spark ~~~ Spark是当今大数据领域最活跃、最热门、最高效的大数据通用计算引擎 ~~~ 2009年诞生于美国加州大学伯克利分校AMP 实验室 ~~~ 2010年通过BSD许可协议开源发布 ~~~ 2013年捐赠给Apache软件基金会并切换开源协议到切换许阅读全文

posted @ 2022-04-11 20:15 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00003|——————————|^^ 部署 ^^|——|Hadoop&Spark.V03|——|Spark.v03|sparkcore|Spark集群部署|

摘要：一、Spark官方地址 ### Spark安装 ~~~ 官网地址：http://spark.apache.org/ ~~~ 文档地址：http://spark.apache.org/docs/latest/ ~~~ 下载地址：http://spark.apache.org/downloads.htm 阅读全文

posted @ 2022-04-11 20:15 yanqi_vip 阅读(55) 评论(0) 推荐(0)

|NO.Z.00004|——————————|^^ 配置 ^^|——|Hadoop&Spark.V04|——|Spark.v04|sparkcore|Spark本地模式|

摘要：一、本地模式 ### 本地模式 ~~~ 本地模式部署在单机，主要用于测试或实验； ~~~ 最简单的运行模式，所有进程都运行在一台机器的 JVM 中； ~~~ 本地模式用单机的多个线程来模拟Spark分布式计算， ~~~ 通常用来验证开发出来的应用程序逻辑上有没有问题； ~~~ 这种模式非常简单，只需阅读全文

posted @ 2022-04-11 20:15 yanqi_vip 阅读(45) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&Spark.V01|——|Spark.v01|sparkcore|课程大纲|

摘要： ### 课程大纲 ~~~ Spark Core -- 离线 ~~~ Spark SQL -- 离线、交互 ~~~ Spark Streaming -- 实时 ~~~ Spark GraphX -- 图处理 ~~~ Spark原理 ~~~ MapReduce、Spark、Flink（实时） => 3代阅读全文

posted @ 2022-04-11 20:14 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 20:13 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 20:13 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.Z.00077|——————————|BigDataEnd|——|Hadoop&Scala.V01|——|Scala.v01|总结|

摘要： ### 课程总结~~~ 《Scala编程》本课程共十一部分 ### 课程目的：使用Scala进行Spark开发、阅读Spark源码 ~~~ 第一部分 Scala基础 ~~~ 第二部分控制结构和函数 ~~~ 第三部分数组和元组 ~~~ 第四部分类与对象 ~~~ 第五部分继承 ~~~ 第六部分阅读全文

posted @ 2022-04-11 20:12 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00078|——————————|BigDataEnd|

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 20:12 yanqi_vip 阅读(17) 评论(0) 推荐(0)

|NO.Z.00075|——————————|BigDataEnd|——|Hadoop&Scala.V02|——|Scala.v02|扩展|Akka|

摘要：一、Akka ### Akka ~~~ Akka是Java虚拟机平台上构建高并发、分布式和容错应用的工具包和运行时。 ~~~ Akka用Scala语言编写，同时提供了Scala和Java的开发接口。 ~~~ Akka处理并发的方法基于Actor模型，Actor之间通信的唯一机制就是消息传递。 ### 阅读全文

posted @ 2022-04-11 20:11 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00076|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 20:11 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.Z.00074|——————————|BigDataEnd|——|Hadoop&Scala.V01|——|Scala.v01|扩展|类型参数|

摘要：一、类型参数 ### 扩展大纲 ~~~ 类型参数 ~~~ 泛型类、泛型函数、协变和逆变 ~~~ Akka ### 类型参数 ~~~ Scala的类型参数与Java的泛型是一样的， ~~~ 可以在集合、类、函数中定义类型参数，从而保证程序更好的健壮性。 ### 泛型类 ~~~ 泛型类，顾名思义，其实就阅读全文

posted @ 2022-04-11 20:10 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00073|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 20:10 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00072|——————————|BigDataEnd|——|Hadoop&Scala.V04|——|Scala.v04|隐式机制|隐式参数和隐式值|

摘要：一、隐式参数和隐式值 ### 隐式参数和隐式值 ~~~ 在函数定义的时候，支持在最后一组参数中使用 implicit ，表明这是一组隐式参数。 ~~~ 在调用该函数的时候，可以不用传递隐式参数， ~~~ 而编译器会自动寻找一个implicit 标记过的合适的值作为参数。 ### Scala编译器会在阅读全文

posted @ 2022-04-11 20:09 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00071|——————————|BigDataEnd|——|Hadoop&Scala.V03|——|Scala.v03|隐式机制|隐式转换函数.v02|

摘要：一、隐式转换函数 ### 隐式转换案例 ~~~ 隐式转换案例：特殊售票窗口（只接受特殊人群买票，比如学生、老人等）， ~~~ 其他人不能在特殊售票窗口买票。 class SpecialPerson(var name: String) class Older(var name: String) cla 阅读全文

posted @ 2022-04-11 20:08 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00069|——————————|BigDataEnd|——|Hadoop&Scala.V01|——|Scala.v01|隐式机制|隐式转换|

摘要：一、隐式转换 ### 隐式机制课程大纲 ~~~ 隐式转换 ~~~ 隐式转换函数 ~~~ 隐式参数和隐式值 ### 隐式转换 ~~~ 隐式转换和隐式参数是Scala中两个非常强大的功能， ~~~ 利用隐式转换和隐式参数，可以提供类库，对类库的使用者隐匿掉具体的细节。 ~~~ Scala会根据隐式转换函阅读全文

posted @ 2022-04-11 20:08 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00070|——————————|BigDataEnd|——|Hadoop&Scala.V02|——|Scala.v02|隐式机制|隐式转换函数.v01|

摘要：一、隐式转换函数 ### 隐式转换函数 ~~~ Scala的隐式转换最核心的就是定义隐式转换函数，即implicit conversion function。 ~~~ 定义的隐式转换函数，只要在编写的程序内引入，就会被Scala自动使用。 ~~~ 隐式转换函数由Scala自动调用，通常建议将隐式转换阅读全文

posted @ 2022-04-11 20:08 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00068|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 20:07 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00065|——————————|BigDataEnd|——|Hadoop&Scala.V04|——|Scala.v04|集合|Map|

摘要：一、Map ### Map ~~~ Map(映射)是一系列键值对的容器；Scala 提供了可变的和不可变的两种版本的Map， ~~~ 分别定义在包 scala.collection.mutable 和 scala.collection.immutable 里； ~~~ 默认情况下，Scala中使用不阅读全文

posted @ 2022-04-11 20:06 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00066|——————————|BigDataEnd|——|Hadoop&Scala.V05|——|Scala.v05|集合|集合常用算子|

摘要：一、map、foreach & mapValues ### map、foreach & mapValues ~~~ 集合对象都有 foreach、map 算子。 ~~~ 两个算子的共同点在于：都是用于遍历集合对象，并对每一项执行指定的方法； ~~~ 两个算子的差异点在于： ~~~ foreach无返阅读全文

posted @ 2022-04-11 20:06 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00067|——————————|BigDataEnd|——|Hadoop&Scala.V06|——|Scala.v06|集合|与Java集合的转换|

摘要：一、与Java集合的转换 ### 与Java集合的转换 ~~~ 使用 scala.collection.JavaConverters 与Java集合交互。 ~~~ 它有一系列的隐式转换，添加了asJava和asScala的转换方法。 ### 编程示例 import scala.collection. 阅读全文

posted @ 2022-04-11 20:06 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00064|——————————|BigDataEnd|——|Hadoop&Scala.V03|——|Scala.v03|集合|Set|

摘要：一、Set ### Set ~~~ Set(集合)是没有重复元素的对象集合，Set中的元素是唯一的； ~~~ Set分为可变的和不可变的集合； ~~~ 默认情况下，使用的是不可变集合(引用 scala.collection.immutable.Set)； ~~~ 使用可变集合，需要引用 scala. 阅读全文

posted @ 2022-04-11 20:05 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00063|——————————|BigDataEnd|——|Hadoop&Scala.V02|——|Scala.v02|集合|Seq|

摘要：一、Seq ### seq ~~~ Seq代表按照一定顺序排列的元素序列； ~~~ 该序列是一种特别的可迭代集合，包含可重复的元素； ~~~ 元素的顺序是确定的，每个元素对应一个索引值； ### Seq提供了两个重要的子特质： ~~~ IndexedSeq：提供了快速随机访问元素的功能，它通过索引来阅读全文

posted @ 2022-04-11 20:04 yanqi_vip 阅读(46) 评论(0) 推荐(0)

|NO.Z.00062|——————————|BigDataEnd|——|Hadoop&Scala.V01|——|Scala.v01|集合|可变和不可变集合|

摘要：一、可变和不可变集合 ### 集成大纲 ~~~ Scala中的可变和不可变集合 ~~~ 集合的三大类：Seq、Set、Map ~~~ 集合的常用算子 ~~~ Scala与Java之间的集合转换 ### 可变和不可变集合 ~~~ 根据容器中元素的组织方式和操作方式，可以分为有序和无序、可变和不可变等不阅读全文

posted @ 2022-04-11 20:03 yanqi_vip 阅读(44) 评论(0) 推荐(0)

|NO.Z.00061|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 20:03 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.00060|——————————|BigDataEnd|——|Hadoop&Scala.V08|——|Scala.v08|模式匹配和样例类|偏函数|

摘要：一、偏函数 ### 偏函数 ~~~ 偏函数（Partial Function）之所以“偏”， ~~~ 原因在于它们并不处理所有可能的输入，而只处理那些能与至少一个 case 语句匹配的输入； ~~~ 在偏函数中只能使用 case 语句，整个函数必须用大括号包围。 ~~~ 这与普通的函数字面量不同，普阅读全文

posted @ 2022-04-11 20:02 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00059|——————————|BigDataEnd|——|Hadoop&Scala.V07|——|Scala.v07|模式匹配和样例类|部分应用函数|

摘要：一、部分应用函数 ### 部分应用行数 ~~~ 部分应用函数（Partial Applied Function）也叫偏应用函数， ~~~ 与偏函数从名称上看非常接近，但二者之间却有天壤之别。 ~~~ 部分应用函数是指缺少部分（甚至全部）参数的函数。 ~~~ 如果一个函数有n个参数, 而为其提供少于n 阅读全文

posted @ 2022-04-11 20:01 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00057|——————————|BigDataEnd|——|Hadoop&Scala.V05|——|Scala.v05|模式匹配和样例类|闭包|

摘要：一、闭包 ### 闭包 ~~~ 闭包是一种函数，一种比较特殊的函数，它和普通的函数有很大区别： ~~~ # 普通的函数 val addMore1 = (x: Int) => x + 10 ~~~ # 外部变量，也称为自由变量 var more = 10 ~~~ # 闭包 val addMore2 = 阅读全文

posted @ 2022-04-11 20:01 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00058|——————————|BigDataEnd|——|Hadoop&Scala.V06|——|Scala.v06|模式匹配和样例类|柯里化|

摘要：一、柯里化 ### 柯里化 ~~~ 函数编程中，接收多个参数的函数都可以转化为接收单个参数的函数， ~~~ 这个转化过程就叫柯里化(Currying)。 ~~~ Scala中，柯里化函数的定义形式和普通函数类似， ~~~ 区别在于柯里化函数拥有多组参数列表，每组参数用小括号括起来。 ~~~ Scal 阅读全文

posted @ 2022-04-11 20:01 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00056|——————————|BigDataEnd|——|Hadoop&Scala.V04|——|Scala.v04|模式匹配和样例类|高阶函数|

摘要：一、高阶函数 ### 高阶函数 ~~~ 高阶函数：接收一个或多个函数作为输入或输出一个函数。 ~~~ 函数的参数可以是变量，而函数又可以赋值给变量， ~~~ 由于函数和变量地位一样，所以函数参数也可以是函数； ~~~ 常用的高阶函数：map、reduce、flatMap、foreach、filt 阅读全文

posted @ 2022-04-11 20:00 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00054|——————————|BigDataEnd|——|Hadoop&Scala.V02|——|Scala.v02|模式匹配和样例类|函数方法区别|

摘要：一、函数与方法的区别 ### 函数与方法的区别 scala> def addm(x: Int, y: Int): Int = x + y addm: (x: Int, y: Int)Int scala> val addf = (x: Int, y: Int) => x + y addf: (Int, 阅读全文

posted @ 2022-04-11 19:59 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00055|——————————|BigDataEnd|——|Hadoop&Scala.V03|——|Scala.v03|模式匹配和样例类|匿名函数|占位符|

摘要：一、匿名函数与占位符 ### 匿名函数与占位符 ~~~ 函数没有名字就是匿名函数； ~~~ 匿名函数，又被称为 Lambda 表达式。 Lambda表达式的形式如下： ~~~ (参数名1: 类型1, 参数名2: 类型2, ... ...) => 函数体 ### 编程示例 ~~~ 定义匿名函数 sca 阅读全文

posted @ 2022-04-11 19:59 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00052|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 19:58 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.Z.00053|——————————|BigDataEnd|——|Hadoop&Scala.V01|——|Scala.v01|模式匹配和样例类|函数字面量|函数定义|

摘要：一、函数字面量及函数的定义 ### 函数字面量及函数的定义 ~~~ Scala中函数为头等公民，不仅可以定义一个函数然后调用它， ~~~ 还可以写一个未命名的函数字面量，然后可以把它当成一个值传递到其它函数或是赋值给其它变量。 ~~~ 函数字面量体现了函数式编程的核心理念。 ~~~ 字面量包括整数字阅读全文

posted @ 2022-04-11 19:58 yanqi_vip 阅读(23) 评论(0) 推荐(0)

|NO.Z.00050|——————————|BigDataEnd|——|Hadoop&Scala.V06|——|Scala.v06|模式匹配和样例类|样例类|

摘要：一、样例类 ### 样例类 ~~~ # case class样例类是Scala中特殊的类。当声明样例类时，以下事情会自动发生： ~~~ 主构造函数接收的参数通常不需要显式使用var或val修饰，Scala会自动使用val修饰 ~~~ 自动为样例类定义了伴生对象，并提供apply方法，不用new关键字阅读全文

posted @ 2022-04-11 19:57 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00051|——————————|BigDataEnd|——|Hadoop&Scala.V07|——|Scala.v07|模式匹配和样例类|Option|模式匹配|

摘要：一、Option与模式匹配 ### Option与模式匹配 ~~~ Scala Option选项类型用来表示一个值是可选的，有值或无值。 ~~~ Option[T] 是一个类型为 T 的可选值的容器，可以通过get()函数获取Option的值。如果值存在， ~~~ Option[T] 就是一个 So 阅读全文

posted @ 2022-04-11 19:57 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00049|——————————|BigDataEnd|——|Hadoop&Scala.V05|——|Scala.v05|模式匹配和样例类|匹配数组|元组集合|

摘要：一、匹配数组、元组、集合 ### 编程示例 def main(args: Array[String]): Unit = { val arr = Array(0, 3, 5) //对Array数组进行模式匹配，分别匹配： //带有指定个数元素的数组、带有指定元素的数组、以某元素开头的数组 arr ma 阅读全文

posted @ 2022-04-11 19:56 yanqi_vip 阅读(42) 评论(0) 推荐(0)

|NO.Z.00047|——————————|BigDataEnd|——|Hadoop&Scala.V03|——|Scala.v03|模式匹配和样例类|守卫式匹配|

摘要：一、守卫式匹配 ### 编程示例 // 所谓守卫就是添加if语句 object MatchDemo { def main(args: Array[String]): Unit = { //守卫式 val character = '*' val num = character match { case 阅读全文

posted @ 2022-04-11 19:55 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00048|——————————|BigDataEnd|——|Hadoop&Scala.V04|——|Scala.v04|模式匹配和样例类|匹配类型|

摘要：一、匹配类型 ### 匹配类型 ~~~ Scala的模式匹配还有一个强大的功能，它可以直接匹配类型，而不是值。 ~~~ 这一点是Java的switch case做不到的。 ~~~ 匹配类型的语法：case 变量 : 类型 => 代码，而不是匹配值的“case 值 => 代码”这种语法。 ### 代码阅读全文

posted @ 2022-04-11 19:55 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00046|——————————|BigDataEnd|——|Hadoop&Scala.V02|——|Scala.v02|模式匹配和样例类|字符|字符串匹配|

摘要：一、字符和字符串匹配 ### 编程示例 def main(args: Array[String]): Unit = { val charStr = '6' charStr match { case '+' => println("匹配上了加号") case '-' => println("匹配上了减阅读全文

posted @ 2022-04-11 19:54 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00045|——————————|BigDataEnd|——|Hadoop&Scala.V01|——|Scala.v01|模式匹配和样例类|模式匹配|

摘要：一、模式匹配 ### 模式匹配 ~~~ Scala没有Java中的switch case，它有一个更加强大的模式匹配机制，可以应用到很多场合。 ~~~ Scala的模式匹配可以匹配各种情况，比如变量的类型、集合的元素、有值或无值。 ~~~ 模式匹配的基本语法结构：变量 match { case 值阅读全文

posted @ 2022-04-11 19:53 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00044|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 19:53 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.Z.00043|——————————|BigDataEnd|——|Hadoop&Scala.V05|——|Scala.v05|特质|Ordered|Ordering|

摘要：一、Ordered和Ordering ### Ordered和Ordering ~~~ 在Java中对象的比较有两个接口，分别是Comparable和Comparator。它们之间的区别在于： ~~~ 实现Comparable接口的类，重写compareTo()方法后，其对象自身就具有了可比较性；阅读全文

posted @ 2022-04-11 19:52 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00041|——————————|BigDataEnd|——|Hadoop&Scala.V03|——|Scala.v03|特质|特质构造顺序|

摘要：一、特质构造顺序 ### 特质构造顺序 ~~~ 在Scala中，trait特质也是有构造器的，也就是trait中的不包含在任何方法中的代码。 ### 构造器以如下顺序执行： ~~~ 执行父类的构造器； ~~~ 执行trait的构造器，多个trait从左到右依次执行； ~~~ 构造trait时会先构造阅读全文

posted @ 2022-04-11 19:52 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00042|——————————|BigDataEnd|——|Hadoop&Scala.V04|——|Scala.v04|特质|特质继承类|

摘要：一、特质继承类 ### 特质继承类 ~~~ 在Scala中，trait特质也可以继承class类，此时这个class类就会成为所有继承此trait的类的父类。 class MyUtil { def printMessage(msg: String) = println(msg) } // 特质Log 阅读全文

posted @ 2022-04-11 19:52 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00040|——————————|BigDataEnd|——|Hadoop&Scala.V02|——|Scala.v02|特质|带有具体|实现特质|

摘要：一、带有具体实现的特质 ### 具体方法 ~~~ Scala中的trait特质不仅仅可以定义抽象方法， ~~~ 还可以定义具体实现的方法，这时的trait更像是包含了通用工具方法的类。 ~~~ 比如，trait中可以包含一些很多类都通用的功能方法， ~~~ 比如打印日志等等，Spark中就使用了tr 阅读全文

posted @ 2022-04-11 19:51 yanqi_vip 阅读(48) 评论(0) 推荐(0)

|NO.Z.00039|——————————|BigDataEnd|——|Hadoop&Scala.V01|——|Scala.v01|特质|作为接口|使用特质|

摘要：一、作为接口使用的特质 ### 作为接口使用的特质 ~~~ Scala中的trait特质是一种特殊的概念。 ~~~ 首先可以将trait作为接口来使用，此时的trait就与Java中的接口非常类似。 ~~~ 在trait中可以定义抽象方法，与抽象类中的抽象方法一样，只要不给出方法的具体实现即可。 ~ 阅读全文

posted @ 2022-04-11 19:51 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00037|——————————|BigDataEnd|——|Hadoop&Scala.V04|——|Scala.v04|继承|类型检查与转换|

摘要：一、类型检查与转换 ### 类型检查与转换 ~~~ 要测试某个对象是否属于某个给定的类，可以用isInstanceOf方法。 ~~~ 如果测试成功，可以用asInstanceOf方法进行类型转换。 ### 编程示例 if(p.isInstanceOf[Employee]){ //s的类型转换为Emp 阅读全文

posted @ 2022-04-11 19:50 yanqi_vip 阅读(23) 评论(0) 推荐(0)

|NO.Z.00038|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 19:50 yanqi_vip 阅读(10) 评论(0) 推荐(0)

|NO.Z.00036|——————————|BigDataEnd|——|Hadoop&Scala.V03|——|Scala.v03|继承|override方法重写|

摘要：一、override方法重写 ### override ~~~ 方法重写指的是当子类继承父类的时候， ~~~ 从父类继承过来的方法不能满足子类的需要，子类希望有自己的实现， ~~~ 这时需要对父类的方法进行重写，方法重写是实现多态的关键。 ~~~ Scala中的方法重写同Java一样，也是利用ove 阅读全文

posted @ 2022-04-11 19:49 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00034|——————————|BigDataEnd|——|Hadoop&Scala.V01|——|Scala.v01|继承|继承概念|

摘要：一、继承 ### 继承的概念 ~~~ Scala中继承类的方式和Java一样，也是使用extends关键字： class Employee extends Person{ var salary=1000 } ~~~ # 和Java一样，可在定义中给出子类需要而父类没有的字段和方法，或者重写父类的方法阅读全文

posted @ 2022-04-11 19:48 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00035|——————————|BigDataEnd|——|Hadoop&Scala.V02|——|Scala.v02|继承|构造器执行顺序|

摘要：一、构造器执行顺序 ### 构造器执行顺序 ~~~ Scala在继承的时候构造器的执行顺序：首先执行父类的主构造器，其次执行子类自身的主构造器。 ~~~ 类有一个主构造器和任意数量的辅助构造器， ~~~ 而每个辅助构造器都必须以对先前定义的辅助构造器或主构造器的调用开始。 ~~~ 子类的辅助构造器最阅读全文

posted @ 2022-04-11 19:48 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00032|——————————|BigDataEnd|——|Hadoop&Scala.V05|——|Scala.v05|类与对象|对象|

摘要：一、单例对象 ### 单例对象 ~~~ Scala并没有提供Java那样的静态方法或静态字段； ~~~ 可以采用object关键字实现单例对象，具备和Java静态方法同样的功能； ~~~ 使用object语法结构【object是Scala中的一个关键字】达到静态方法和静态字段的目的； ~~~ 对象本阅读全文

posted @ 2022-04-11 19:47 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00033|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 19:47 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00031|——————————|BigDataEnd|——|Hadoop&Scala.V04|——|Scala.v04|类与对象|构造器|

摘要：一、构造器 ### 构造器 ~~~ 如果没有定义构造器，Scala类中会有一个默认的无参构造器； ~~~ Scala当中类的构造器分为两种：主构造器和辅助构造器； ~~~ 主构造器的定义与类的定义交织在一起，将主构造器的参数直接放在类名之后。 ~~~ 当主构造器的参数不用var或val修饰时，参数会阅读全文

posted @ 2022-04-11 19:46 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00029|——————————|BigDataEnd|——|Hadoop&Scala.V02|——|Scala.v02|类与对象|自定义getter|setter方法|

摘要：一、自定义getter和setter方法 ### 自定义getter和setter方法 ~~~ 对于 Scala 类中的每一个属性，编译后会有一个私有的字段和相应的getter、setter方法生成。 ~~~ getter方法 println(person age) ~~~ setter方法 per 阅读全文

posted @ 2022-04-11 19:45 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00030|——————————|BigDataEnd|——|Hadoop&Scala.V03|——|Scala.v03|类与对象|Bean属性|

摘要：一、Bean属性 ### Bean属性概述 ~~~ JavaBean规范把Java属性定义为一堆getter和setter方法。 ~~~ 类似于Java，当将Scala字段标注为 @BeanProperty时，getFoo和setFoo方法会自动生成。 ~~~ 使用@BeanProperty并不会影阅读全文

posted @ 2022-04-11 19:45 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00028|——————————|BigDataEnd|——|Hadoop&Scala.V01|——|Scala.v01|类与对象|类和无参构造器|

摘要：一、类和无参构造器 ### 类和无参构造器 ~~~ 在Scala中，类并不用声明为public； ~~~ Scala源文件中可以包含多个类，所有这些类都具有公有可见性； ~~~ val修饰的变量（常量），值不能改变，只提供getter方法，没有setter方法； ~~~ var修饰的变量，值可以改变阅读全文

posted @ 2022-04-11 19:44 yanqi_vip 阅读(45) 评论(0) 推荐(0)

|NO.Z.00027|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 19:44 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00026|——————————|BigDataEnd|——|Hadoop&Scala.V06|——|Scala.v06|数组元组|元组及操作|

摘要：一、元组及操作 ### 元组及操作 ~~~ Tuple，元组。Map是键值对的集合。对偶是元组的最简单形态； ~~~ 元组是不同类型的值的集合，元组中的元素可以是不同的数据类型，元组在Scala中的应用非常广泛。 ### 编程示例 ~~~ # 报错，元组的元素个数上限是22个 val a = Tup 阅读全文

posted @ 2022-04-11 19:43 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00024|——————————|BigDataEnd|——|Hadoop&Scala.V04|——|Scala.v04|数组元组|常见算法|

摘要：一、常见算法 ### 常见算法 ~~~ 在Scala中对数组进行转换非常简单方便，这些转换动作不会修改原始数组， ~~~ 而是产生一个全新的数组。 ~~~ 任务：将数组中偶数元素加倍，奇数元素丢弃 ### 编程示例 val arr = (1 to 10).toArray # -- 使用for推导式。阅读全文

posted @ 2022-04-11 19:42 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00025|——————————|BigDataEnd|——|Hadoop&Scala.V05|——|Scala.v05|数组元组|多维数组|

摘要：一、多维数组 ### 多维数组 ~~~ 通过Array的ofDim方法来定义一个多维的数组，多少行，多少列，都是自己说了算。 ### 多维数组示例 ~~~ # 创建一个3行4列的二维数组 val dim = Array.ofDim[Double](3,4) dim(1)(1) = 11.11 for 阅读全文

posted @ 2022-04-11 19:42 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00022|——————————|BigDataEnd|——|Hadoop&Scala.V02|——|Scala.v02|数组元组|变长数组|

摘要：一、变长数组 ### 变长数组 ~~~ 长度按需要变换的数组ArrayBuffer。 ~~~ Scala 中很多数组类型都有可变、不可变两个版本， ~~~ 推荐使用不可变的数组类型，使用可变数组类型时需要显示声明； ~~~ 使用ArrayBuffer时，需要导包 import scala.colle 阅读全文

posted @ 2022-04-11 19:41 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00023|——————————|BigDataEnd|——|Hadoop&Scala.V03|——|Scala.v03|数组元组|数组操作|

摘要：一、数组操作 ### 数组转换 ~~~ Array <==> BufferArray定长数组与变长数组转换 ~~~ toArray，变长数组转换为定长数组 val array: Array[Int]=nums.toArray ~~~ toBuffer，定长数组转换为变长数组 val arrayBuf 阅读全文

posted @ 2022-04-11 19:41 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00021|——————————|BigDataEnd|——|Hadoop&Scala.V01|——|Scala.v01|数组元组|数组定义|

摘要：一、数组定义 ### 数组定义 ~~~ 数组几乎是所有语言中最基础的数据结构。数组可索引、类型一致、长度不变。 ### 编程示例 ~~~ # 长度为10的整型数组，初始值为0 val nums = new Array[Int](10) ~~~ # 使用()访问数据元素；下标从0开始 nums(9) 阅读全文

posted @ 2022-04-11 19:40 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00020|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 19:40 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.Z.00018|——————————|BigDataEnd|——|Hadoop&Scala.V05|——|Scala.v05|Scala函数|懒值|

摘要：一、懒值 ### 懒值 ~~~ 当 val 被声明为lazy时(var不能声明为lazy)， ~~~ 它的初始化将被推迟，直到首次对此取值，适用于初始化开销较大的场景。 ### 编程示例 ~~~ 先打印OK!，才报错 ~~~ # 语句立刻执行，发现文件不存在，报错 val file1 = scala 阅读全文

posted @ 2022-04-11 19:39 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00019|——————————|BigDataEnd|——|Hadoop&Scala.V06|——|Scala.v06|Scala函数|文件操作|

摘要：一、文件操作 ### 导入scala.io.Source后，可引用Source中的方法读取文本文件的内容 ~~~ 如果要将文件内容转数组，直接调用toArray。 import scala.io.{BufferedSource, Source} object FileDemo { def main( 阅读全文

posted @ 2022-04-11 19:39 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00017|——————————|BigDataEnd|——|Hadoop&Scala.V04|——|Scala.v04|Scala函数|函数|

摘要：一、函数 ### 函数 ~~~ 函数体中最后一句为返回值的话，可以将return 去掉； ~~~ 如果一个函数体只有一句代码，大括号可以去掉； ~~~ 如果一个函数没有返回值，其返回类型为Unit , 并且 “=” 号可以去掉，这样的函数被称为过程； ~~~ 可以不声明函数的返回类型，返回类型可通过阅读全文

posted @ 2022-04-11 19:38 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00015|——————————|BigDataEnd|——|Hadoop&Scala.V02|——|Scala.v02|Scala函数|for表达式|

摘要：一、for 表达式 ### for表达式 ~~~ Scala中，for循环语法结构：for (i <- 表达式 / 集合)，让变量 i遍历<-右边的表达式/集合的所有值。 ~~~ Scala为for循环提供了很多的特性，这些特性被称之为 for守卫式或 for推导式。 ### 编程示例 ~~~ # 阅读全文

posted @ 2022-04-11 19:37 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00016|——————————|BigDataEnd|——|Hadoop&Scala.V03|——|Scala.v03|Scala函数|where表达式|

摘要：一、while 表达式 ### while表达式 ~~~ Scala提供了与 Java 类似的while和do...while循环。 ~~~ while语句的本身没有任何返回值类型，即while语句的返回结果是Unit类型的 () 。 ~~~ Scala内置控制结构特地去掉了 break 和 con 阅读全文

posted @ 2022-04-11 19:37 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00014|——————————|BigDataEnd|——|Hadoop&Scala.V01|——|Scala.v01|Scala函数|if表达式|

摘要：一、if 表达式 ### if表达式 ~~~ Scala中 if 表达式有返回值。 ~~~ 如果if 和 else 的返回值类型不一样，那么就返回两个返回值类型公共的父类。 ### 编程示例 ~~~ # if 语句有返回值 val x = 10 val s = if (x > 0) 1 else - 阅读全文

posted @ 2022-04-11 19:36 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00012|——————————|BigDataEnd|——|Hadoop&Scala.V12|——|Scala.v12|Scala编程|对象相等性|

摘要：一、对象相等性 ### Java 中可以 == 来比较基本类型和引用类型： ~~~ 对基本类型而言，比较的是值的相等性 ~~~ 对引用类型而言，比较的是引用相等性，即两个变量是否指向JVM堆上的同个对象 ### Scala中，要比较两个基础类型的对象是否相等，可以使用 == 或 !=； 1 == 1 阅读全文

posted @ 2022-04-11 19:35 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00013|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 19:35 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&Scala.V11|——|Scala.v11|Scala编程|字符串插值器|

摘要：一、字符串插值器 ### Scala 提供了三种字符串插值器： ~~~ s 插值器，对内嵌的每个表达式求值，对求值结果调用toString，替换掉字面量中的那些表达式 ~~~ f 插值器，它除s插值器的功能外，还能进行格式化输出，在变量后用%指定输出格式，使用java.util.Formatter中阅读全文

posted @ 2022-04-11 19:34 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&Scala.V09|——|Scala.v09|Scala编程|块表达式|赋值语句|

摘要：一、块表达式和赋值语句 ### 块表达式和赋值语句 ~~~ {} 块包含一系列表达式，其结果也是一个表达式，块中最后一个表达式的值就是块的值。 ~~~ 赋值语句返回Unit类型，代表没有值； ### 编程需求 val x1 = 1 val y1 = 1 val x2 = 0 val y2 = 0 v 阅读全文

posted @ 2022-04-11 19:34 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00010|——————————|BigDataEnd|——|Hadoop&Scala.V10|——|Scala.v10|Scala编程|输入输出|

摘要：一、输入和输出 ### 输入输出说明 ~~~ 通过readLine 从控制台读取一行输入。 ~~~ 如果要读取数字、Boolean或者字符， ~~~ 可以用readInt、readDouble、readByte、readShort、readLong、readFloat、readBoolean或者re 阅读全文

posted @ 2022-04-11 19:34 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&Scala.V07|——|Scala.v07|Scala编程|值与变量|自动类型推断|

摘要：一、值与变量&自动类型推断 ### Scala当中的声明变量可以使用以下两种方式： ~~~ val，值 -- value，用val定义的变量，值是不可变的 ~~~ var，变量 -- variable，用var定义的变量，值是可变的 ### 在Scala中，鼓励使用val。大多数程序并不需要那么多的阅读全文

posted @ 2022-04-11 19:33 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00008|——————————|BigDataEnd|——|Hadoop&Scala.V08|——|Scala.v08|Scala编程|操作符|

摘要：一、操作符 ### 操作符 ~~~ Scala的算术操作符、位操作符与 Java中的效果一样的。 ~~~ 需要特别注意一点：Scala中的操作符都是方法 ~~~ 书写时推荐使用：a + b 、1 to 10这种代码风格。 ~~~ Scala 没有提供 ++、-- 操作符，但是可以使用+=、-= ## 阅读全文

posted @ 2022-04-11 19:33 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.Z.00006|——————————|BigDataEnd|——|Hadoop&Scala.V06|——|Scala.v06|Scala编程|类层次结构|

摘要：一、类层次结构 ## 类层次结构 ~~~ # Scala中，所有的类，包括值类型和引用类型，都最终继承自一个统一的根类型Any。 ~~~ # Scala中定义了以下三个底层类： ~~~ Any是所有类型共同的根类型，Any是AnyRef和AnyVal的超类 ~~~ AnyRef是所有引用类型的超类阅读全文

posted @ 2022-04-11 19:32 yanqi_vip 阅读(71) 评论(0) 推荐(0)

|NO.Z.00005|——————————|BigDataEnd|——|Hadoop&Scala.V05|——|Scala.v05|Scala编程|常用类型|字面值|

摘要：一、常用类型与字面量数据类型描述 Byte 8位有符号补码整数。数值区间为 -128 到 127 Short 16位有符号补码整数。数值区间为 -32768 到 32767 Int 32位有符号补码整数。数值区间为 -2147483648 到 2147483647 Long 64位有符号补码整数阅读全文

posted @ 2022-04-11 19:31 yanqi_vip 阅读(92) 评论(0) 推荐(0)

|NO.Z.00004|——————————|BigDataEnd|——|Hadoop&Scala.V04|——|Scala.v04|Scala编程|基本语法|

摘要：一、基础语法 ### 基础语法规则： ~~~ # 区分大小写 ~~~ Scala语言对大小写敏感； ~~~ # 类名 ~~~ 对于所有的类名的第一个字母要大写。 ~~~ 如果需要使用几个单词来构成一个类名，每个单词的第一个字母要大写；比如:ListDemo ~~~ # 方法名 ~~~ 所有方法名的第阅读全文

posted @ 2022-04-11 19:30 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00002|——————————|BigDataEnd|——|Hadoop&Scala.V02|——|Scala.v02|Scala基础|语言概况|

摘要：一、Scala基础 ### Scala语言概况：Scala语言起源 ~~~ 马丁·奥德斯基（Martin Odersky）是编译器及编程的狂热爱好者。 ~~~ 主流JVM的Javac编译器就是马丁·奥德斯基编写出来的，JDK5.0、JDK8.0的编译器就是他写的。 ~~~ 长时间的编程之后，他希望发阅读全文

posted @ 2022-04-11 19:29 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00003|——————————|^^ 部署 ^^|——|Hadoop&Scala.V03|——|Scala.v03|Scala编程|编程环境|

摘要：一、scala官网地址 ### Scala资源地址 ~~~ Scala官网：https://www.scala-lang.org/ ~~~ 下载Scala：Windows下安装Scala ~~~ 配置IDEA开发环境：REPL 二、windows下环境配置说明 ### 下载scala版本包 ~~~ 阅读全文

posted @ 2022-04-11 19:29 yanqi_vip 阅读(42) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&Scala.V01|——|Scala.v01|实验大纲|

摘要：一、Scala编程： ### 课程目标： ~~~ 熟练使用Scala进行Spark开发 ~~~ 为阅读Spark内核源码做准备二、课程内容： ### 课程内容： ~~~ 第一部分 Scala基础 ~~~ 第二部分控制结构和函数 ~~~ 第三部分数组和元组 ~~~ 第四部分类与对象 ~~~ 第阅读全文

posted @ 2022-04-11 19:28 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 19:27 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.00078|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 19:26 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 19:26 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00076|——————————|BigDataEnd|——|Hadoop&PB级数仓.V05|——|PB数仓.v05|数据可视化|

摘要：一、数据可视化 ### 数据可视化 ~~~ ADS => DataX => MySQL => 浏览器呈现 ~~~ 对统计数据进行展示一般都是以图、表方式呈现； ~~~ 常见方式有 ECharts、HighCharts、G2、Chart.js 、FineBI等。 ~~~ 本项目使用SSM（Spring 阅读全文

posted @ 2022-04-11 19:25 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.00077|——————————|BigDataEnd|——|Hadoop&PB级数仓.V06|——|PB数仓.v06|总结|

摘要：一、项目总结与回顾 ## 数据仓库概念 ~~~ 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 ~~~ OLAP（数据仓库）与OLTP（数据库）的区别； ~~~ 数据仓库分层：ODS、DWD、DWS、ADS ## 为什么要分层： ~~~ 清晰的数据结构 ~~ 阅读全文

posted @ 2022-04-11 19:25 yanqi_vip 阅读(44) 评论(0) 推荐(0)

|NO.Z.00074|——————————|^^ 部署 ^^|——|Hadoop&PB级数仓.V03|——|PB数仓.v03|Griffin数据质量监控工具|Griffin部署|

摘要：一、Griffin编译准备 ### 软件解压缩 [root@hadoop02 ~]# ls /opt/yanqi/software/griffin-griffin-0.5.0.zip /opt/yanqi/software/griffin-griffin-0.5.0.zip [root@hadoop 阅读全文

posted @ 2022-04-11 19:24 yanqi_vip 阅读(52) 评论(0) 推荐(0)

|NO.Z.00075|——————————|BigDataEnd|——|Hadoop&PB级数仓.V04|——|PB数仓.v04|Griffin数据质量监控工具|数据质量监控|

摘要：一、与电商业务集成 ### 数据资产：单击右上角的 DataAssets 来检查数据资产 ~~~ 这里的数据数据资产主要是保存在Hive上的表，要求 Hive Metastore 服务正常 ### 创建 measure ~~~ 如果要测量源和目标之间的匹配率，请选择 Accuracy（精确度验证）阅读全文

posted @ 2022-04-11 19:24 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00073|——————————|^^ 部署 ^^|——|Hadoop&PB级数仓.V02|——|PB数仓.v02|Griffin数据质量监控工具|部署Griffin&spark&livy&ES|

摘要：一、安装概述 ### 相关依赖：重点讲解 Griffin，不对依赖组件做过多讲解，所有组件均采用单机模式安装。 ~~~ JDK (1.8 or later versions) ~~~ MySQL(version 5.6及以上) ~~~ Hadoop (2.6.0 or later) ~~~ Hive 阅读全文

posted @ 2022-04-11 19:23 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00072|——————————|BigDataEnd|——|Hadoop&PB级数仓.V01|——|PB数仓.v01|Griffin数据质量监控工具|概述|

摘要：一、数据质量监控工具：Griffin（扩展） ### 为什么要做数据质量监控：garbage in garbage out ~~~ # 数据不一致 ~~~ 企业早期没有进行统一规划设计，大部分信息系统是逐步迭代建设的， ~~~ 系统建设时间长短各异，各系统数据标准也不同。 ~~~ 企业业务系统更关注阅读全文

posted @ 2022-04-11 19:22 yanqi_vip 阅读(81) 评论(0) 推荐(0)

|NO.Z.00071|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 19:21 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.00070|——————————|BigDataEnd|——|Hadoop&PB级数仓.V04|——|PB数仓.v04|元数据管理工具Atlas|电商业务集成|血缘关系|

摘要：一、与电商业务集成 ### 电商业务集成环境准备 ~~~ 开发（建库、建表） => 导入数据 => 执行Hive脚本 ~~~ 导入Hive的血缘关系二、电商业务建表 ### 电商业务建表语句（可省略）： ~~~ 创建DataBases; CREATE DATABASE ODS; CREATE DA 阅读全文

posted @ 2022-04-11 19:20 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00068|——————————|^^ 部署 ^^|——|Hadoop&PB级数仓.V02|——|PB数仓.v02|元数据管理工具Atlas|部署配置|账户密码|

摘要：一、安装环境准备 ### 安装概述说明 ~~~ 重点讲解Atlas，不对Atlas的依赖组件做讲解，组件均采用单机模式安装。 ~~~ 编译才能安装。 ### 安装依赖 ~~~ Maven 3.6.3（完成） ~~~ HBase 1.1.2（不需要安装，需要软件包） ~~~ Solr 5.5.1（不需阅读全文

posted @ 2022-04-11 19:19 yanqi_vip 阅读(60) 评论(0) 推荐(0)

|NO.Z.00069|——————————|BigDataEnd|——|Hadoop&PB级数仓.V03|——|PB数仓.v03|元数据管理工具Atlas|Hive血缘关系导入|

摘要：一、Hive血缘关系导入 ### 配置HIVE_HOME环境变量； ~~~ 将atlas服务下atlas-application.properties配置文件拷贝到hive服务目录下 ### 创建软连接： ~~~ 将 $ATLAS_HOME/conf/atlasapplication.propert 阅读全文

posted @ 2022-04-11 19:19 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00067|——————————|BigDataEnd|——|Hadoop&PB级数仓.V01|——|PB数仓.v01|元数据管理工具Atlas|数仓元数据管理|简介|

摘要：一、元数据管理工具Atlas（扩展） ### 数据仓库元数据管理 ~~~ 元数据（MetaData）狭义的解释是用来描述数据的数据。 ~~~ 广义的来看，除了业务逻辑直接读写处理的那些业务数据， ~~~ 所有其它用来维持整个系统运转所需的信息／数据都可以叫作元数据。 ~~~ 如数据库中表的Schem 阅读全文

posted @ 2022-04-11 19:18 yanqi_vip 阅读(60) 评论(0) 推荐(0)

导航

公告