摘要: firefox浏览器的插件 download helper 需要安装第三方合作软件VdhCoAppSetup,最近刚刚更新,可以到github下载 不想去github下载的可以到个人网盘下载 vdhcoapp-2.0.11-windows-x86_64-installer.exe https://w 阅读全文
posted @ 2024-01-11 14:16 augusite 阅读(1821) 评论(4) 推荐(4) 编辑
摘要: ERROR org.apache.kafka.clients.consumer.internals.ConsumerCoordinator [] -[Consumer clientID=consumer-1,groupID=7f92057408079$94BEXWEC] Offset commit 阅读全文
posted @ 2023-11-06 21:18 augusite 阅读(78) 评论(0) 推荐(0) 编辑
摘要: 原文链接:https://support.huaweicloud.com/intl/zh-cn/eu-west-0-cmpntguide-lts-mrs/mrs_01_1861.html 操作场景 Ranger管理员可通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理 阅读全文
posted @ 2023-10-23 09:35 augusite 阅读(272) 评论(0) 推荐(1) 编辑
摘要: http://logging.apache.org/log4j/docs/api/org/apache/log4j/PatternLayout.html https://logging.apache.org/log4j/2.x/manual/index.html 参数说明例子 %c 列出logger 阅读全文
posted @ 2023-08-06 01:20 augusite 阅读(102) 评论(0) 推荐(0) 编辑
摘要: 版本: yarn:2.6.0+cdh5.11.0 一、前言 对于从事大数据相关工作的朋友来说,在平时应该会跟 yarn 打过不少交道。像 MapReduce on yarn,Spark on yarn,Flink on yarn 等都是需要将应用运行在 yarn 上面的。但是对于应用运行日志的查看, 阅读全文
posted @ 2023-08-06 00:32 augusite 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 一、导入log4j.jar到项目依赖中二、添加如下两个配置文件中的一个到项目的src目录下 properties配置方式 ### 设置Logger输出级别和输出目的地(控制台和文件夹) ### log4j.rootLogger=debug, stdout,logfile ### 把日志信息输出到控制 阅读全文
posted @ 2023-08-06 00:06 augusite 阅读(183) 评论(0) 推荐(0) 编辑
摘要: 问题背景与现象 在使用Kafka客户端命令创建Topic时,发现创建Topic Partition的Leader显示为none。 [root@10-10-144-2 client]# kafka-topics.sh --create --replication-factor 1 --partitio 阅读全文
posted @ 2023-07-31 14:51 augusite 阅读(449) 评论(0) 推荐(0) 编辑
摘要: (一)环境准备 修改IP 修改主机名及主机名和IP地址的映射 关闭防火墙 ssh免密登录 安装JDK,配置环境变量等 (二)规划集群 看出我们将NameNode分布到两台机器上,保证集群的高可用性 hadoop102hadoop103hadoop104 NameNode NameNode Journ 阅读全文
posted @ 2023-07-27 15:31 augusite 阅读(27) 评论(0) 推荐(0) 编辑
摘要: zkCli.sh的使用 ZooKeeper服务器简历客户端 ./zkCli.sh -timeout 0 -r -server ip:port ./zkCli.sh -server hostname:port port一般是2181(默认端口),比如 ./zkCli.sh -server host1@ 阅读全文
posted @ 2023-07-21 22:58 augusite 阅读(695) 评论(0) 推荐(0) 编辑
摘要: 进程 [hdfs]start-dfs.sh NameNode NN DataNode DN SecondaryNamenode 2NN [yarn]start-yarn.sh ResourceMananger RM NodeManager NM 脚本分析 sbin/start-all.sh libe 阅读全文
posted @ 2023-07-12 09:50 augusite 阅读(32) 评论(0) 推荐(0) 编辑