摘要：
一、简介 spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结 阅读全文
摘要：
一、RDD、DataFrame和DataSet 1，共性 1、RDD、DataFrame和DateSet全都是spark平台下的弹性分布式数据集 2、三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历 3、三者都有partit 阅读全文
摘要：
一、简介 Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复与内存系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distribute DataSet，RDD)的AP 阅读全文
摘要：
一、概述 1，定义 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。 2，RDD的特点 RDD表示制度的分区的数据集，对RDD进行改动，只能通过RDD的 阅读全文
摘要：
一、集合的基础操作 1，head头信息 //获取集合的第一个元素 val list = List(1,3,5) list.head //1 2，tail尾信息 //获取集合除去头元素之外的所有元素 val list = List(1,3,5) list.tail //List(3,5) 3，last 阅读全文
摘要：
一、概述 1，特点 1)Scala同时支持不可变集合和可变集合 2)两个主要的包： 不可变集合：scala.collection.immutable 可变集合： scala.collection.mutable 3)Scala默认采用不可变集合，对于几乎所有的集合类，Scala都同时提供了可变(mu 阅读全文
摘要：
一、类与对象 1，定义 [修饰符] class 类名 { 类体 } 1) scala语法中，类并不声明为public，所有这些类都具有公有可见性(即默认就是public),[修饰符在后面再详解]. 2) 一个Scala源文件可以包含多个类, 每个类默认都是public 2，属性 1)属性的定义语法同 阅读全文
摘要：
一、scala的数据类型 1，概述: 1）scala与java有着相同的数据类型，在scala中数据类型都是对象，也就是说是scala中没有java的原生类型 2）scala数据类型分为两大类AnyVal(值类型)和AnyRef(引用类型)，注意：不管是AnyVal还是AnyRef都是对象。 3）相 阅读全文
摘要：
一、HBase的优化 1，高可用 在 HBase 中 HMaster 负责监控 HRegionServer 的生命周期，均衡 RegionServer 的负载，如果 HMaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对 HM 阅读全文
摘要：
一、HBase简介 1，定义: HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 2，HBase的架构图: 架构角色: 1）Master Master是所有Region Server的管理者，其实现为HRegionServer,主要作用有: a>对于表的DDL操作：crea 阅读全文