2020年6月26日
（二）Hive1.2.2
摘要： 作业题 1. 简述hive工作原理 1、执行查询：Hive接口，命令行或者web ui发送查询驱动程序 2、get plan：驱动程序查询编译器 3、词法分析/语法分析 4、语义分析 5、逻辑计划产生 6、逻辑计划优化 7、物理计划生成 8、物理计划优化 9、物理计划执行 10、查询结果返回 提示： 阅读全文
posted @ 2020-06-26 15:04 起始的地方 阅读(262) 评论(0) 推荐(0)
2020年6月25日
（一）Hive1.2.2
摘要： 一、安装 一、课前准备 1. 安装好hadoop2.X版本的三节点集群，并配置好JAVA_HOME和HADOOP_HOME两个环境变量。 二、课堂主题 讲解hive1.2.2版本的三种常见安装部署模式 三、课堂目标 1. 熟练搭建内嵌式hive环境 2. 熟练搭建本地式hive环境 3. 熟练搭建远 阅读全文
posted @ 2020-06-25 23:37 起始的地方 阅读(259) 评论(0) 推荐(0)
YARN资源调度框架
摘要： Yarn资源调度系统 一、课前准备 1. 三个节点的hadoop集群 二、课堂主题 1. yarn架构、核心组件 2. yarn应用提交过程 3. yarn的调度策略 4. yarn的优化 三、课堂目标 1. 数据yarn资源的任务调度原理 2. 熟练对yarn集群进行维护 3. 了解如何使用YAR 阅读全文
posted @ 2020-06-25 22:12 起始的地方 阅读(359) 评论(0) 推荐(0)
2020年6月23日
MapReduce并行编程模型
摘要： 一、课前准备 1. 3节点hadoop集群 2. 安装IDEA 3. 安装maven并配置环境变量 二、课堂主题 1. 围绕MapReduce分布式计算讲解 三、课堂目标 1. 理解MapReduce编程模型 2. 独立完成一个MapReduce程序并运行成功 3. 了解MapReduce工程流程 阅读全文
posted @ 2020-06-23 23:07 起始的地方 阅读(406) 评论(0) 推荐(0)
2020年6月22日
HDFS 分布式文件系统
摘要： HDFS分布式文件系统 一、课前准备 1. 安装VMware 15虚拟化软件 2. 安装Centos 7虚拟机3个 3. 安装3节点的hadoop2.X集群 4. 某台虚拟机节点安装IDEA 二、课堂主题 本堂课主要围绕HDFS进行讲解，主要包括三方面 1. 架构原理 2. 核心概念 3. HDFS 阅读全文
posted @ 2020-06-22 23:44 起始的地方 阅读(388) 评论(0) 推荐(0)
Kafka
摘要： 第四天kafka知识 Producer基础的案例 1 Producer的小案例 电商系统，会员，凡是能登录的人都是会员。 你消费了多少钱，那么就给给你累计多少积分。 比如，你消费了1000块钱，那么同时给你找个会员号1000积分 1.1 在kafka里面，我们发送消息的时候，可以给消息指定key，也 阅读全文
posted @ 2020-06-22 23:37 起始的地方 阅读(148) 评论(0) 推荐(0)