枫夜求索阁

spark程序调优总结

摘要：目录目的环境调优步骤参数优化RDD优化rdd复用rdd持久化广播大变量算子优化mapPartitionsforeach... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(55) 评论(0) 推荐(0)

摘要：文章目录场景环境IP关系使用步骤1. 获取链接IP及端口1. 获取spark主机域名或ip（适用于查找历史应用）2. 根据日志查... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(231) 评论(0) 推荐(0)

摘要：文章目录问题场景问题环境问题原因解决方案结果总结PS 问题场景在CDH的hue界面控制台上面，使用hive组件，执... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(1172) 评论(0) 推荐(0)

摘要：问题场景集群之前启用了Kerberos，但是后来为了使用方便，将相关的配置都去除了。在hive上面执行SQL，比如select a... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(44) 评论(0) 推荐(0)

摘要：软件版本软件版本spark2.4.0hadoop3.2.0scala2.11.8问题场景启动spark-shell的时候，有WA... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(132) 评论(0) 推荐(0)

摘要：环境 spring boot2spring cloudspring-kafkakakfa 2.2.0 场景程序调用spring-k... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(444) 评论(0) 推荐(0)

摘要： redis版本 5.0.5 主备规划三主三从安装路径 /opt/redis-5.0.5 操作步骤安装依赖 # 需要外网yum... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(12) 评论(0) 推荐(0)

摘要：下载相关配置文件登录CDH控制台，到HBASE的登录页面，下载相关的配置文件到本地新建maven项目，将... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(64) 评论(0) 推荐(0)

摘要：环境 win10 + kafka_2.11-1.1.0 场景新增一个主题之后，进行删除操作，kafka异常退出。无法打开。打开报错... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(331) 评论(0) 推荐(1)

摘要：环境 springboot2 + kafka_2.11-1.1.0，kafka是单机版环境报错提示 Error while fet... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(415) 评论(0) 推荐(0)