摘要：
一，简介 二，数据类型和变量的定义 2.1 常见的数据类型 2.2 scala变量定义 三，字符串格式输出 四，条件和循环 4.1 条件表达式、 4.2 循环语句 4.3 yield关键字 五，运算符和运算符的重载 正文 一，简介 Scala 是一种多范式的编程语言，其设计的初衷是要集成面向对象编程 阅读全文
摘要：
一，概述 二，工作机制 三，sqoop安装和使用 3.1 前提环境 3.2 文件下载 3.3 配置文件修改 3.4 添加mysql的jdbc驱动包 3.5 验证启动 四，sqoop的数据导入 4.1 语法 4.2 示例 4.2.1 导入表数据到HDFS 4.2.2 导入到HDFS指定目录 4.2.3 阅读全文
摘要：
一，前言 二，读取目录 三，读取新增行 正文 一，前言 官方配置连接：点击进入 flume的使用是在任意的服务器进行agent启动。官方已经为我们写好了很多source，sink，channel的组件，仅需要我们按照官方提供的文档进行配置，然后启动即可。当然我们也可以自定制一下source和sink 阅读全文
摘要：
一，前言 原文地址：https://www.cnblogs.com/zhangyinhua/p/7803486.html 上图是Hadoop的生态的架构图，从上图可以看出Flume是用来日志采集的。下图是hadoop的其中一种业务流程图： 我们知道hadoop是用来处理海量数据业务的，所以说数据采集 阅读全文
摘要：
一，前言 二，包安装 三，表操作DDL 四，数据操作DML 正文 一，前言 上节讲到我们可以用JavaAPI进行Hbase的操作，但是很明显，Java的API很底层，用起来会很不方便，如果你们学习过Python，可以用Python来对Hbase进行操作。 happybase使用：https://ha 阅读全文
摘要：
一，HBase系统架构 二，HBase的Region详解 2.1 region的实例解析 2.2 Region的寻址 三，HBase的写逻辑 3.1 Hbase的写入逻辑 3.2 MemStore刷盘 3.3 Hlog 3.3.1 Hlog简介 3.3.2 Hlog结构 3.3.3 Hlog的生命周 阅读全文
摘要：
一，前言 二，HBaseDDL 三，HBaseDML 正文 一，前言 一般情况下不会直接在Shell对Hbase进行操作，而是通过提高的API，我们先对Java的API进行介绍。 二，HBaseDDL 如下所示就是HBaseDDL的简单操作： 三，HBaseDML 如下所示就是HbaseDML的简单 阅读全文
摘要：
一，前言 二，前期准备 2.1 文件下载 2.2 服务器准备 三，配置文件配置 3.1 hbase-env.sh 3.2 hbase-site.xml 3.3 regionservers 3.4 将hbase的bin目录添加到环境变量 3.5 Hbase的官方配置文档 四，Hbase服务启动 4.1 阅读全文
摘要：
一，引言 二，表生成函数 2.1 行转列函数（explode） 2.2 表生成函数（lateral view explode） 三，集合函数 3.1 判断值是否存在某集合(array_contains) 3.2 集合排序(sort_array) 3.3 集合长度(size) 3.4 Map集合的ke 阅读全文
摘要：
一，引言 二，类型转换函数 三，数学运算函数 3.1 四舍五入（round()） 3.2 向上取整（ceil()） 3.3 向下取整（floor()） 3.4 取绝对值（abs()） 3.5 求单行数据最小值（least()） 3.6 求单行数据最大值（greatest()） 四，字符串函数 4.1 阅读全文