SpringCore - 博客园

2023年12月17日

摘要： 1.目标程序可以动态修改参数 2.实现项目搭建参考 Java实现对Hadoop HDFS的API操作 1.驱动类 package cn.coreqi.mapreduce.tool; import org.apache.hadoop.conf.Configuration; import org.a 阅读全文

posted @ 2023-12-17 21:35 SpringCore 阅读(58) 评论(0) 推荐(0)

Hadoop Yarn 调度器多队列

摘要： 1.容量调度器多队列 1.为何需要多队列调度器默认就1个default队列，不能满足生产的要求。 1个队列在任务极限的情况下，容易资源耗尽。特殊时期通过对任务的区分可以保证重要的任务队列资源充足按照框架区分队列，如hive/spark/flink 每个框架的任务放入指定的队列(企业用的不是特别阅读全文

posted @ 2023-12-17 14:47 SpringCore 阅读(302) 评论(0) 推荐(0)

Hadoop YARN生产环境核心配置参数

摘要： 1.ResourceManager相关配置参数说明默认值备注 yarn.resourcemanager.scheduler.class 配置调度器,默认为容量调度器(Apache) org.apache.hadoop.yarn.server.resourcemanager.scheduler 阅读全文

posted @ 2023-12-17 13:19 SpringCore 阅读(513) 评论(0) 推荐(0)

2023年12月16日

Hadoop YARN

摘要： 1.Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.Yarn基础架构 Yarn主要由ResourceManager、NodeManager、Applicatio 阅读全文

posted @ 2023-12-16 21:02 SpringCore 阅读(68) 评论(0) 推荐(0)

Hadoop 数据压缩

摘要： 1.概述 1.好处 & 坏处优点：减少磁盘IO、减少磁盘存储空间缺点：增加CPU开销 2.压缩的原则运算密集型的Job，少用压缩 IO密集型的Job，多用压缩 2.MR 支持的压缩编码 1.压缩算法对比介绍压缩格式 Hadoop自带? 算法文件扩展名是否可切片换成压缩格式后,原来的程序阅读全文

posted @ 2023-12-16 18:48 SpringCore 阅读(113) 评论(0) 推荐(0)

2023年12月14日

Hadoop MapReduce框架原理

摘要： 1.InputFormat数据输入 1.数据切片与MapTask并行度决定机制一个Job的Map阶段并行度由客户端在提交Job时的切片数决定每一个Split切片分配一个MapTask并行实例处理默认情况下，切片大小 = BlockSize 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片阅读全文

posted @ 2023-12-14 11:45 SpringCore 阅读(81) 评论(0) 推荐(0)

2023年12月13日

Hadoop 数据类型及序列化

摘要： 1.Hadoop数据类型 Java类型 Hadoop Writable类型 Boolean BooleanWritable Byte ByteWritable Int IntWritable Float FloatWritable Long LongWritable Double DoubleWri 阅读全文

posted @ 2023-12-13 19:04 SpringCore 阅读(96) 评论(0) 推荐(0)

Hadoop MapReduce编程规范

摘要：用户编写的程序分为三个部分:Mapper、Reducer和Driver 1.Mapper阶段用户自定义的Mapper要继承自己的父类 Mapper的输入数据是KV对的形式（KV的类型可自定义） Mapper中的业务逻辑写在map()方法中 Mapper的输出数据是KV对的形式（KV的类型可自定义）阅读全文

posted @ 2023-12-13 10:26 SpringCore 阅读(52) 评论(0) 推荐(0)

2023年12月12日

Hadoop NameNode(SecondaryNameNode) Fsimage和Edits解析

摘要： NameNode被格式化之后，将在NameNode目录下产生一些文件 1.Fsimage文件 Fsimage文件是HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件inode的序列化信息查看Fsimage文件 hdfs oiv -p 文件类型 -i 镜像文件 -o 阅读全文

posted @ 2023-12-12 14:35 SpringCore 阅读(172) 评论(0) 推荐(0)

2023年12月11日

Hadoop 配置的优先级

摘要：从低到高 1.默认配置默认文件文件存放在Hadoop的jar包中的位置 core-default.xml hadoop-common-3.3.6.jar/core-default.xml hdfs-default.xml hadoop-hdfs-3.3.6.jar/hdfs-default.xm 阅读全文

posted @ 2023-12-11 13:11 SpringCore 阅读(156) 评论(0) 推荐(0)

Coreqi

公告