Hadoop大数据技术与应用

第一章 初始Hadoop大数据技术

1.1 大数据技术概述

1.2 Google的”三驾马车“

1.2.1 GFS的思想

1.2.2 MapReduce的思想

1.2.3 BigTable的思想

1.3 Hadoop概述

1.4 Hadoop生态圈

1.5 Hadoop的典型应用场景与应用架构

1.5.1 Hadoop的典型应用场景

1.5.2 Hadoop的典型应用架构

第二章 Hadoop环境设置

2.1安装前的准备

2.2Hadoop的安装

2.2.1 单机安装

2.2.2 伪分布式安装

2.2.3 完全分布式安装

第三章 HDFS

3.1 HDFS简介

3.2 HDFS的组成与架构

3.2.1 NameNode

3.2.2 DataNode

3.2.3 SecondaryNamenode

3.3 HDFS工作机制

3.3.1 机架感知与副本容易与存储策略

3.3.2 文件读取

3.3.3 文件写入

3.3.4 数据容错

3.4 HDFS操作

3.4.1 通过Web界面进行HDFS操作

3.4.2 通过HDFS shell进行操作

3.4.3 通过HDFS API进行操作

3.5 HDFS的高级功能

3.5.1 安全模式

3.5.2 回收站

3.5.3 快照

3.5.4 配额

3.5.5 高可用性

3.5.6 联邦

第四章 YARN

4.1 YARN产生的背景

4.2 初识YARN

4.3 YARN的架构

4.3.1 YARN的架构概述

4.3.2 YARN中应用运行的机制

4.3.3 YARN中任务进度的监控

4.3.4 MapReduce I 与YARN的组成对比

4.4 YARN的调度器

4.4.1 先进先出调度器

4.4.2 容器调度器

4.4.3 公平调度器

4.4.4 三种调度器的比较

第五章 MapReduce

5.1 MapReduce概述

5.1.1 MapReduce是什么

5.1.2 MapReduce的特点

5.1.3 MapReduce不擅长的场景

5.2 MapReduce编程模型

5.2.1 MapReduce编程模型概述

5.2.2 MapReduce编程实例

5.3 MapReduce编程进阶

5.3.1 MapReduce的输入格式

5.3.2 MapReduce的输出格式

5.3.3 分区

5.3.4 合并

5.4 MapReduce的工作机制

5.4.1 MapReduce作业的运行机制

5.4.2 进度和状态的更新

5.4.3 Shuffle

5.5 MapReduce工作案例

5.5.1 排序

5.5.2 去重

5.5.3 多表查询

第六章 HBase、Hive、Pig

第七章 Flume

第八章 Sqoop

8.1 Sqoop背景简介

8.2 Sqoop的基本原理

8.3 Sqoop的安装与部属

8.3.1 下载安装

8.3.2 配置Sqoop

8.4 Sqoop应用

8.4.1 列出Mysql数据库得到基本信息

8.4.2 Mysql数据库与HDFS数据互导

8.4.3 Mysql数据库与Hive互导

第九章 Zookeeper

9.1 ZooKeeper简介

9.2 ZooKeeper的安装

9.2.1 单机模式

9.2.2 集群模式

9.3 ZooKeeper的基本原理

9.3.1 paxos算法

9.3.2 Zab算法

9.3.3 ZooKeeper的架构

9.3.4 ZooKeeper的数据结构

9.4 ZooKeeper的简单操作

9.4.1 通过ZooKeeper shell命令操作ZooKeeper

9.4.2 通过ZooKeeper工具操作ZooKeeper

9.4.3 通过JAVA API操作ZooKeeper

9.5 ZooKeeper的特性

9.5.1 会话

9.5.2 临时节点

9.5.3 顺序节点

9.5.4 事务操作

9.5.5 版本号

9.5.6 监视

9.6 ZooKeeper应用场景

9.6.1 Master选举

9.6.2 分布式锁

第十章 Ambari

第十一章 Mahout