随笔分类 -  Hadoop

Hadoop学习过程
Hadoop 企业优化
摘要：一、针对hadoop跑得慢，如何才能优化呢？首先需要分析冒得慢的几个因素，分为硬件原因 MapReduce 程序效率的瓶颈在于两点： 1．计算机性能 CPU、内存、磁盘健康、网络 2、2．I/O 操作优化 （1）数据倾斜 （2）Map和Reduce数设置不合理 （3）Map运行时间太长，导致Redu 阅读全文
posted @ 2020-07-27 23:33 Velome 阅读(169) 评论(0) 推荐(0)
hadoop数据压缩
摘要：对于Hadoop，可以进行压缩有三个阶段 分别是Map输入，Map输出，Reduce输出 Map阶段 map阶段的压缩主要可以减少读取磁盘的io操作，因为合理的设置都是会避免网络IO的产生，如果还产生了网络io那么肯定是切片不合理，需要修改切片设置 map阶段压缩存在一个问题，一般的压缩方式不能切片 阅读全文
posted @ 2020-07-27 00:44 Velome 阅读(194) 评论(0) 推荐(0)
Hadoop3.13 配置文件
摘要：首先会写出集群的部署规划，然后根据规划编写对应的配置文件 主要包含四个配置文件，包含的，将配置文件改好，然后分发到各个配置文件然后启动集群的时候将会加载配置文件 一、集群的部署规划 hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode DataNo 阅读全文
posted @ 2020-07-18 23:09 Velome 阅读(1262) 评论(0) 推荐(0)