Coreqi

摘要： 1.下载Spark 3.5.0 https://spark.apache.org/downloads.html 2.安装JDK Linux 安装Openjdk 3.安装Hadoop Hadoop-3.3.6分布式集群搭建步骤 4.解压 mkdir /usr/spark tar -zxvf spark 阅读全文

摘要： 参考地址：https://dev.mysql.com/doc/mysql-apt-repo-quick-guide/en/ 1.下载apt Repo https://dev.mysql.com/downloads/repo/apt/ 2.安装Mysql Apt Repo dpkg -i mysql- 阅读全文

摘要： 1.安装用于存储元数据的关系数据库 生产环境中一般存储元数据采用独立的关系型数据库而非Hive本地的嵌入式数据库 本地的嵌入式数据库无法支持多个请求同时访问。 本示例采用Mysql8.0作为示例 具体的支持列表参考官方文档： https://cwiki.apache.org/confluence/d 阅读全文

摘要： 1.解压 mkdir /usr/hive tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /usr/hive 2.配置Hive环境变量 在/etc/profile.d中配置 1.新建hive.sh vi /etc/profile.d/hive.sh export 阅读全文

摘要： 1.目标 程序可以动态修改参数 2.实现 项目搭建参考 Java实现对Hadoop HDFS的API操作 1.驱动类 package cn.coreqi.mapreduce.tool; import org.apache.hadoop.conf.Configuration; import org.a 阅读全文

摘要： 1.容量调度器多队列 1.为何需要多队列 调度器默认就1个default队列，不能满足生产的要求。 1个队列在任务极限的情况下，容易资源耗尽。 特殊时期通过对任务的区分可以保证重要的任务队列资源充足 按照框架区分队列，如hive/spark/flink 每个框架的任务放入指定的队列(企业用的不是特别 阅读全文

摘要： 1.ResourceManager相关 配置参数 说明 默认值 备注 yarn.resourcemanager.scheduler.class 配置调度器,默认为容量调度器(Apache) org.apache.hadoop.yarn.server.resourcemanager.scheduler 阅读全文

摘要： 1.Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.Yarn基础架构 Yarn主要由ResourceManager、NodeManager、Applicatio 阅读全文

摘要： 1.概述 1.好处 & 坏处 优点：减少磁盘IO、减少磁盘存储空间 缺点：增加CPU开销 2.压缩的原则 运算密集型的Job，少用压缩 IO密集型的Job，多用压缩 2.MR 支持的压缩编码 1.压缩算法对比介绍 压缩格式 Hadoop自带? 算法 文件扩展名 是否可切片 换成压缩格式后,原来的程序 阅读全文

摘要： 1.InputFormat数据输入 1.数据切片与MapTask并行度决定机制 一个Job的Map阶段并行度由客户端在提交Job时的切片数决定 每一个Split切片分配一个MapTask并行实例处理 默认情况下，切片大小 = BlockSize 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片 阅读全文