2023 年 12月 10 日随笔档案 - SpringCore

2023年12月10日

摘要： 1.配置Hadoop的Windows客户端 Hadoop 配置Windows 客户端 2.新建Maven项目[略] 3.添加依赖  <dependen 阅读全文

posted @ 2023-12-10 16:10 SpringCore 阅读(275) 评论(0) 推荐(0)

Hadoop 配置Windows 客户端

摘要： 1.根据Hadoop版本下载Windows依赖，并放置到非中文目录下 https://github.com/cdarlint/winutils 2.配置环境变量 HADOOP_HOME -> 放置的目录地址 PATH -> 追加%HADOOP_HOME%\bin 3.测试环境双击winutils. 阅读全文

posted @ 2023-12-10 15:07 SpringCore 阅读(299) 评论(0) 推荐(0)

Hadoop HDFS 文件块大小

摘要： HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数(dfs.blocksize)来配置，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M. 建议配置为物理机硬盘每秒的读取速度,如机械硬盘则建议为128M，SSD则配置为256M。 HDFS的块设置太小阅读全文

posted @ 2023-12-10 10:56 SpringCore 阅读(268) 评论(0) 推荐(0)

Coreqi

公告