03 2019 档案

摘要:把本地文件系统,复制到dfs文件系统时报错的错 这边出现上述问题格式化多次hadoop,导致datanode不正确,决解的办法是: 1、在hadoop数据目录下(安装目录或者自己配置的目录,根据实际情况而定)……/data/dfs/data,把里面的current文件夹删除 2、然后从新执行一下 h 阅读全文
posted @ 2019-03-23 17:58 萧哥 阅读(2220) 评论(0) 推荐(0)
摘要:因为当前用户不是root,没有设置相关目录的权限 : chown -R hadoop:hadoop /home/hadoop sudo chmod -R a+w /usr/local/hadoop3.1.0 阅读全文
posted @ 2019-03-23 15:45 萧哥 阅读(1469) 评论(0) 推荐(0)
摘要:HDFS概念 数据块:数据块是抽象块而非整个文件作为存储单元,一般设置为128M,备份*3 NameNode:主。管理文件系统的命名空间,存放文件元数据 维护着文件系统的所有文件和目录,文件与数据块的映射,记录每个文件中各个块所在数据节点的信息 DataNode:工作节点。存储并检索数据块,向Nam 阅读全文
posted @ 2019-03-21 23:29 萧哥 阅读(810) 评论(0) 推荐(0)