SpringCore - 博客园

2023年12月10日

摘要： 1.配置Hadoop的Windows客户端 Hadoop 配置Windows 客户端 2.新建Maven项目[略] 3.添加依赖  <dependen 阅读全文

posted @ 2023-12-10 16:10 SpringCore 阅读(292) 评论(0) 推荐(0)

Hadoop 配置Windows 客户端

摘要： 1.根据Hadoop版本下载Windows依赖，并放置到非中文目录下 https://github.com/cdarlint/winutils 2.配置环境变量 HADOOP_HOME -> 放置的目录地址 PATH -> 追加%HADOOP_HOME%\bin 3.测试环境双击winutils. 阅读全文

posted @ 2023-12-10 15:07 SpringCore 阅读(317) 评论(0) 推荐(0)

Hadoop HDFS 文件块大小

摘要： HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数(dfs.blocksize)来配置，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M. 建议配置为物理机硬盘每秒的读取速度,如机械硬盘则建议为128M，SSD则配置为256M。 HDFS的块设置太小阅读全文

posted @ 2023-12-10 10:56 SpringCore 阅读(286) 评论(0) 推荐(0)

2023年12月9日

Linux 配置NTP时间同步服务

摘要： 1.安装[可选，如已安装则跳过] apt install ntp 2.启动NTP服务 systemctl start ntpd systemctl enable ntpd 3.查看NTP服务运行状态 systemctl status ntpd 4.修改配置文件 vi /etc/ntpsec/ntp. 阅读全文

posted @ 2023-12-09 17:49 SpringCore 阅读(7072) 评论(0) 推荐(1)

Hadoop 常用配置文件

摘要： Hadoop2.x Hadoop3.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml workers core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves 阅读全文

posted @ 2023-12-09 16:47 SpringCore 阅读(46) 评论(0) 推荐(0)

Hadoop 常用端口号

摘要：端口名称 Hadoop2.x Hadoop3.x HDFS NameNode内部通信端口 8020 / 9000 8020 / 9000 / 9820 HDFS NameNode HTTP UI 50070 9870 YARN MapReduce查看执行任务端口 8088 8088 历史服务器通信端阅读全文

posted @ 2023-12-09 16:39 SpringCore 阅读(419) 评论(0) 推荐(0)

2023年12月1日

Hadoop 一些脚本总结

摘要： 1.各个模板分开启动/停止 1.整体启动/停止 HDFS start-dfs.sh / stop-dfs.sh 2.整体启动/停止 YARN start-yarn.sh / stop-yarn.sh 2.各个服务组件逐一启动/停止 1.分别启动/停止 HDFS组件 hdfs --daemon sta 阅读全文

posted @ 2023-12-01 19:04 SpringCore 阅读(51) 评论(0) 推荐(0)

Hadoop 配置日志聚集

摘要：本文章的前置Hadoop-3.3.6分布式集群搭建步骤概念：集群中的每台Hadoop节点的运行都会产生日志，开启日志聚集后，将所有运行日志信息上传到Hadoop HDFS系统上，可以更好的查看运行详情，方便开发及调试。注意：需要重启NodeManage、ResourceManager和Hist 阅读全文

posted @ 2023-12-01 17:29 SpringCore 阅读(200) 评论(0) 推荐(0)

2023年11月27日

Hadoop MapReduce 历史服务器配置

摘要：本文章的前置Hadoop-3.3.6分布式集群搭建步骤 1.在mapred-site.xml中配置历史服务器 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuratio 阅读全文

posted @ 2023-11-27 21:04 SpringCore 阅读(117) 评论(0) 推荐(0)

Hadoop 常用命令

摘要： 1.HDFS的Shell操作 1.基本语法 hadoop fs 具体命令 hdfs dfs 具体命令 hadoop fs 和hdfs dfs 是相等的 1.新建文件夹 hadoop fs -mkdir {folderName} hadoop fs -mkdir /coreqi 2.上传文件 1.从本阅读全文

posted @ 2023-11-27 19:48 SpringCore 阅读(118) 评论(0) 推荐(0)

Coreqi

公告