SpringCore - 博客园

2024年1月1日

摘要：配置文件位于Conf/zoo_sample.cfg，如果要生效的话需要重命名为zoo.cfg 1.tickTime tickTime=2000，通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒 2.initLimit initLimit=10,LF初始通信时限，Leader和Foll 阅读全文

posted @ 2024-01-01 18:27 SpringCore 阅读(206) 评论(0) 推荐(0)

ZooKeeper 3.9.1 本地安装

摘要： 1.下载ZooKeeper 3.9.1 https://dlcdn.apache.org/zookeeper/zookeeper-3.9.1/apache-zookeeper-3.9.1-bin.tar.gz 2.安装JDK Linux 安装Openjdk 3.解压 mkdir /usr/zooke 阅读全文

posted @ 2024-01-01 17:52 SpringCore 阅读(464) 评论(0) 推荐(0)

Spark 配置历史服务

摘要：本文章的前提是 Spark 3.5.0 独立部署(Standalone)模式 or Spark Yarn模式 1.在Hadoop上创建用于存放Spark日志的存储路径 hadoop fs -mkdir /spark_logs 2.tmp目录创建存放事件日志的目录 mkdir /tmp/spark-e 阅读全文

posted @ 2024-01-01 15:44 SpringCore 阅读(728) 评论(0) 推荐(0)

2023年12月31日

Spark 3.5.0 独立部署(Standalone)模式

摘要： 1.下载Spark 3.5.0 https://spark.apache.org/downloads.html 2.安装JDK Linux 安装Openjdk 3.安装Hadoop Hadoop-3.3.6分布式集群搭建步骤 4.解压 mkdir /usr/spark tar -zxvf spark 阅读全文

posted @ 2023-12-31 18:21 SpringCore 阅读(384) 评论(0) 推荐(0)

2023年12月24日

Debian 安装 Mysql

摘要：参考地址：https://dev.mysql.com/doc/mysql-apt-repo-quick-guide/en/ 1.下载apt Repo https://dev.mysql.com/downloads/repo/apt/ 2.安装Mysql Apt Repo dpkg -i mysql- 阅读全文

posted @ 2023-12-24 20:10 SpringCore 阅读(498) 评论(0) 推荐(0)

Hive 3.1.3 生产安装

摘要： 1.安装用于存储元数据的关系数据库生产环境中一般存储元数据采用独立的关系型数据库而非Hive本地的嵌入式数据库本地的嵌入式数据库无法支持多个请求同时访问。本示例采用Mysql8.0作为示例具体的支持列表参考官方文档： https://cwiki.apache.org/confluence/d 阅读全文

posted @ 2023-12-24 18:39 SpringCore 阅读(823) 评论(0) 推荐(0)

Hive 3.1.3最小化安装

摘要： 1.解压 mkdir /usr/hive tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /usr/hive 2.配置Hive环境变量在/etc/profile.d中配置 1.新建hive.sh vi /etc/profile.d/hive.sh export 阅读全文

posted @ 2023-12-24 16:15 SpringCore 阅读(169) 评论(0) 推荐(0)

2023年12月17日

Hadoop Yarn Tool接口接入

摘要： 1.目标程序可以动态修改参数 2.实现项目搭建参考 Java实现对Hadoop HDFS的API操作 1.驱动类 package cn.coreqi.mapreduce.tool; import org.apache.hadoop.conf.Configuration; import org.a 阅读全文

posted @ 2023-12-17 21:35 SpringCore 阅读(100) 评论(0) 推荐(0)

Hadoop Yarn 调度器多队列

摘要： 1.容量调度器多队列 1.为何需要多队列调度器默认就1个default队列，不能满足生产的要求。 1个队列在任务极限的情况下，容易资源耗尽。特殊时期通过对任务的区分可以保证重要的任务队列资源充足按照框架区分队列，如hive/spark/flink 每个框架的任务放入指定的队列(企业用的不是特别阅读全文

posted @ 2023-12-17 14:47 SpringCore 阅读(355) 评论(0) 推荐(0)

Hadoop YARN生产环境核心配置参数

摘要： 1.ResourceManager相关配置参数说明默认值备注 yarn.resourcemanager.scheduler.class 配置调度器,默认为容量调度器(Apache) org.apache.hadoop.yarn.server.resourcemanager.scheduler 阅读全文

posted @ 2023-12-17 13:19 SpringCore 阅读(636) 评论(0) 推荐(0)

Coreqi

公告