随笔分类 -  大数据

hadoop配置日志聚集
摘要：日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。 日志聚集功能好处：可以方便地查看到程序运行详情，方便开发调试。 注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。 [hadoop@hadoop101(1 阅读全文
posted @ 2025-09-18 13:41 wh459086748 阅读(15) 评论(0) 推荐(0)
hadoop配置历史服务器
摘要：为了查看程序的历史运行情况，需要配置一下历史服务器。 [hadoop@hadoop101(192.168.0.101) ~]$ cd /opt/module/hadoop-3.3.4/etc/hadoop/ [hadoop@hadoop101(192.168.0.101) /opt/module/h 阅读全文
posted @ 2025-09-18 13:40 wh459086748 阅读(13) 评论(0) 推荐(0)
hadoop部署步骤
摘要：一、环境准备（centos7.9） #1、关闭防火墙 [root@localhost ~]# systemctl stop firewalld [root@localhost ~]# systemctl disable firewalld #2、关闭selinux [root@localhost ~ 阅读全文
posted @ 2025-09-16 15:33 wh459086748 阅读(35) 评论(0) 推荐(0)