摘要：
HDFS文件块 HDFS的文件在物理上是分块存储 块的大小可以通过配置参数来规定，一般是2^n，2.x/3.x是128M，1.x中是64M。 块设置的太大，会增大处理时间。 块设置的太小，会增加寻址时间。 HDFS块大小设置主要取决于磁盘传输速率。 HDFS的SHell操作 命令首先启动Hadoop 阅读全文
posted @ 2022-08-14 11:59
信2005-2赵磊
阅读(21)
评论(0)
推荐(0)
摘要：
集群时间同步 为了使三台服务器的时间一致，而且服务器没有连接外网的话，需要进行集群时间同步。一般虚拟机的时间是同步的，所以这个过程我们不需要配置。 下面开始学习Hadoop_HDFS hdfs解决海量问题的存储问题，是一个文件系统。用来存储文件，通过目录树来定位文件，分布式的，适合一次写入，多次读出 阅读全文
posted @ 2022-08-11 22:12
信2005-2赵磊
阅读(18)
评论(0)
推荐(0)
摘要：
一些命令 各个模块分开启动/停止(配置SSH是前提) 整体启动/停止HDFS start-dfs.sh/stop-dfs.sh 2.整体启动/停止YARN start-yarn.sh/stop-yarn.sh 各个服务组件逐一启动/停止 分别启动/停止HDFS组件 hdfs --daemon sta 阅读全文
posted @ 2022-08-11 09:14
信2005-2赵磊
阅读(87)
评论(0)
推荐(0)
摘要：
配置日志的聚集(图片是错误的，导致找了好长时间的错误） yarn-site.xml文件 <!--开启日志聚合--><property> <name>yarn.log-aggregation-enable</name> <value>true</value></property> <!--设置日志聚集 阅读全文
posted @ 2022-08-11 09:13
信2005-2赵磊
阅读(21)
评论(0)
推荐(0)
摘要：
配置历史服务器 配置mapred-site.xml文件 <!--历史服务器地址--><property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value></property> <!--指定历史服务器we 阅读全文
posted @ 2022-08-11 09:08
信2005-2赵磊
阅读(21)
评论(0)
推荐(0)
摘要：
不知不觉又过去了一周，这已经是第六周了，因为期间有些事情，所以这篇博客也是后来补的，也是把前几天学习内容也补上了，目前为止，服务器的话已经配置好了，下面开始下一阶段的学习了，在这之前还需要把前面的步骤串一下，使自己更加了解，还有一些基础问题需要搞清楚，比如常用端口号，常用的配置文件。我学习的是had 阅读全文
posted @ 2022-08-06 16:00
信2005-2赵磊
阅读(20)
评论(0)
推荐(0)
摘要：
测试： 创建空目录： 创建成功： 上传小文件： 上传成功 上传大文件： 文件的存储位置： 当遇到故障时候，先停掉集群，再删除每个集群的data和logs，最后再格式化。 再次启动集群就可以了 发现的问题：上传文件成功后没有提示 阅读全文
posted @ 2022-08-05 13:18
信2005-2赵磊
阅读(26)
评论(0)
推荐(0)
摘要：
配置workers 进入hadoop/etc/hadoop 编辑workers文件 然后分发给另外两个服务器 准备启动集群 第一次需要初始化. 初始化完成后增加了data文件 ， 进入上面那个路径，就能看到当前服务器的版本号 启动HDFS 启动完毕 102 103 104 在配置了ResourseM 阅读全文
posted @ 2022-08-05 12:38
信2005-2赵磊
阅读(32)
评论(0)
推荐(0)
浙公网安备 33010602011771号