Stk1

摘要： Hive 本质: 将HQL转化成MapReduce程序 Hive处理的数据存储在HDFS Hive分析数据底层的实现是MapReduce 执行程序在Yarn上 Hive架构原理 运行机制 HiveJDBC访问 1.启动beeline客户端：beeline -u jdbc:hive2://hadoop 阅读全文

摘要： zookeeper 工作机制 特点 1 Zookeeper：一个领导者，多个跟随者组成的集群 2 集群中只要有半数以上节点存活，Zookeeper就能正常服务 3 全局数据一致性：每个Server保存一份相同的数据副本，CLient无论连接到哪个Server，数据都是一致的。 4 更新请求顺序进行， 阅读全文

摘要： 1 MapReduce 1概述 MapReduce是一个分布式运算程序的编程框架。核心功能是将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 2优缺点 优点： 1）易于编程：他简单实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布 阅读全文

摘要： 1HDFS概述 概述： HDFS它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的有很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 使用场景：适合一次写入，多次读出的场景切不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用 优点: 1容错性高，数据自动保存 阅读全文

摘要： 集群搭建 1 配置yum： mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors. 阅读全文