happygril3

摘要： 1.ZooKeeper服务命令 1. 启动ZK服务: sh bin/zkServer.sh start 2. 查看ZK服务状态: sh bin/zkServer.sh status 3. 停止ZK服务: sh bin/zkServer.sh stop 4. 重启ZK服务: sh bin/zkServ 阅读全文

摘要： 1.概述 Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。 ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控存储的数据的状态变化。通过监控这些数据状 阅读全文

摘要： 1. MapReduce 跑的慢的原因 （1）计算机性能：CPU,内存，磁盘健康，网络 （2）I/O操作 数据倾斜 map和reduce设置不合理 map运行时间太长，导致reduce等待过久 小文件太多：大量的小文件会产生大量的Map任务，增大Map任务装在次数，而任务的装载比较耗时，导致MP较慢 阅读全文

摘要： 1.Yarn资源调度器 在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，FairS cheduler。 （1）FIFO Scheduler 把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分 阅读全文

摘要： 1.压缩 ​ 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。 ​ 鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。 ​ 压缩Mapreduce的一种优化策略：通过压缩编码对Mapper或者Re 阅读全文

摘要： 1.YARN-HA工作机制 2.YARN-HA配置 配置yarn-site.xml <configuration> <!-- Site specific YARN configuration properties --> <!--reduce数据的获取方式--> <property> <name>y 阅读全文

摘要： 1.复制hadoop文件到目录ha cp -r zookeeper-3.4.10/ ha 2.修改配置文件：core-site.xml <configuration> <!--把两个Namenode地址组装成一个集群mycluster--> <property> <name>fs.defaultFS 阅读全文

摘要： 1.下载zookeeper-3.4.10.tar.gz 2.压缩zookeeper-3.4.10.tar.gz 3.删除文件 rm -r data logs 4.创建目录 mkdir zkData /opt/module/zookeeper-3.4.10/zkData 5.修改配置文件 zookee 阅读全文

摘要： 1.Hadoop HA简介及工作原理 Hadoop NameNode官方开始支持HA集群默认是从2.0开始，之前的版本均是不支持NameNode HA的高可用的。 1.1 Hadoop HA简介 Hadoop-HA集群运作机制介绍 HA即高可用（7*24小时不中断服务） 实现高可用最关键的是消除单点 阅读全文

摘要： 1.输入数据接口：InputFormat （1）Text:文件按照行划分，key就是这一行在文件中的偏移量，value就是这一行文本 （2）FiexedLength：读取输入文件的固定长度的记录，这种文件不该是文本文件，二进制文件比较多 （3）KeyValue：文件按照行分割，按分隔符把一行数据切割 阅读全文