摘要：
1.1 维护 1.1.1 日常管理过程 （1） namenode元数据备份 使用dfsadmin下载最新的fsimage镜像文件 hdfs dfsadmin –fetchImage fsimage.backup （2） 数据备份 hadoop复本机制仍然可能导致重要数据丢失，所以要将优先级高的数据进 阅读全文
posted @ 2020-03-11 10:24
一字千金
阅读(421)
评论(0)
推荐(0)
摘要：
1.1 监控 检测集群的健康状态，避免宕机。 1.1.1 日志 访问http://resource-manager-host:8088/logLevel去设置日志级别，用于排查问题。 或者用命令hadoop daemonlog –setlevel resource-manager-host:8088 阅读全文
posted @ 2020-03-11 10:21
一字千金
阅读(503)
评论(0)
推荐(0)
摘要：
（1） dfsadmin管理控制工具 查看hdfs的状态，切换安全模式，保存新的fsimage镜像，重置edits文件等 （2） fsck工具（file system check） fsck工具从namenode获取文件系统的信息，检测文件系统总字节数，文件夹数，文件数，数据块数，满足最小复制条件的 阅读全文
posted @ 2020-03-11 10:18
一字千金
阅读(379)
评论(0)
推荐(0)
摘要：
1.1.1 安全模式 安全模式是文件系统只读不写的过程，一般在载入旧镜像，执行编辑日志，生成新镜像和空编辑日志文件的过程中。datanode存储数据块列表，namenode存储块的位置信息。datanode定期向namenode发送最新的块列表信息。如果某个块复本数量少于最小复本级别（dfs.nam 阅读全文
posted @ 2020-03-11 10:13
一字千金
阅读(325)
评论(0)
推荐(0)
摘要：
1.1.1 永久性数据结构 namenode的目录结构如下图 （1） VERSION属性文件 namespaceid文件系统命名空间唯一标识。 clusterID是将HDFS集群作为一个整体赋予的唯一标识符。 blockpoolID是数据块池的唯一标识。 CTime是namenode存储系统创建时间 阅读全文
posted @ 2020-03-11 10:11
一字千金
阅读(532)
评论(0)
推荐(0)
摘要：
1.1 基准评测程序测试hadoop集群 通过运行测试作业，用测试结果和资源检测结果来判断集群的性能，调整设置进行优化。最好在刚搭建好集群时测试。通过运行高强度的IO操作评测程序检测硬盘故障。 1.1.1 hadoop基准评测程序 （1）测试IO读写 hadoop自带基准评测程序，在D:\hadoo 阅读全文
posted @ 2020-03-11 10:06
一字千金
阅读(570)
评论(0)
推荐(0)
浙公网安备 33010602011771号