上一页 1 ··· 4 5 6 7 8 9 10 11 12 13 下一页

2022年11月29日

spark程序调优总结

摘要: 目录 目的环境 调优步骤参数优化RDD优化rdd复用rdd持久化 广播大变量算子优化mapPartitionsforeach... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁 阅读(55) 评论(0) 推荐(0)

客户环境没办法查看Spark UI页面,怎么办?让我们来使用Spark REST API查看作业信息吧!

摘要: 文章目录 场景环境IP关系使用步骤1. 获取链接IP及端口1. 获取spark主机域名或ip(适用于查找历史应用)2. 根据日志查... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁 阅读(231) 评论(0) 推荐(0)

问题解决:Only SubQuery expressions that are top level conjuncts are allowed

摘要: 文章目录 问题场景问题环境问题原因解决方案结果总结PS 问题场景 在CDH的hue界面控制台上面,使用hive组件,执... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁 阅读(1172) 评论(0) 推荐(0)

问题解决:Not able to initialize app directories in any of the configured local directories

摘要: 问题场景 集群之前启用了Kerberos,但是后来为了使用方便,将相关的配置都去除了。在hive上面执行SQL,比如select a... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁 阅读(44) 评论(0) 推荐(0)

问题解决:Spark Unable to load native-hadoop library for your platform

摘要: 软件版本 软件版本spark2.4.0hadoop3.2.0scala2.11.8问题场景 启动spark-shell的时候,有WA... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁 阅读(132) 评论(0) 推荐(0)

spring-kafka 设置发送消息的大小

摘要: 环境 spring boot2spring cloudspring-kafkakakfa 2.2.0 场景 程序调用spring-k... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁 阅读(444) 评论(0) 推荐(0)

新建redis集群

摘要: redis版本 5.0.5 主备规划 三主三从 安装路径 /opt/redis-5.0.5 操作步骤 安装依赖 # 需要外网yum... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁 阅读(12) 评论(0) 推荐(0)

CDH-Kerberos环境下,HBASE java连接

摘要: 下载相关配置文件 登录CDH控制台,到HBASE的登录页面,下载相关的配置文件到本地 新建maven项目,将... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁 阅读(64) 评论(0) 推荐(0)

kafka问题解决:windows10 下删除主题之后,异常退出,无法启动

摘要: 环境 win10 + kafka_2.11-1.1.0 场景 新增一个主题之后,进行删除操作,kafka异常退出。无法打开。打开报错... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁 阅读(331) 评论(0) 推荐(1)

kafka问题解决:Error while fetching metadata with correlation id 1 : {alarmHis=LEADER_NOT_AVAILABLE}

摘要: 环境 springboot2 + kafka_2.11-1.1.0,kafka是单机版环境 报错提示 Error while fet... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁 阅读(415) 评论(0) 推荐(0)

上一页 1 ··· 4 5 6 7 8 9 10 11 12 13 下一页

导航