导航

随笔分类 -  HDFS学习之路

学习HDFS中觉得需要重点理解掌握的点，分享在这里

HDFS集群格式化踩过的坑

摘要：在Hadoop集群使用初期，我所遇到的问题如下： 1. 需要不定时的改动配置文件 2. 不止一次的格式化集群 3. 恢复之后datanode失效了 4. 时间超过了7天，日志消失，又导致集群崩坏 解决思路： 1. 首先格式化集群之前要确保集群的进程停掉 2. 删除每个节点hadoop下的 data 阅读全文

posted @ 2020-11-28 14:22 乔伊_413 阅读(659) 评论(0) 推荐(0)

HDFS学习之路一

摘要：HDFS介绍 产生原因: 单机存储无法存储大量数据，需要跨机器存储，统一管理分布在集群上的文件系统。 概念: HDFS是一个分布式文件系统 , Apache Hadoop项目的一个子项目，Hadoop非常适合存储大型数据。（T级） 应用场景: 存储非常大的文件(大量小文件不适合存储),需要高吞吐量 阅读全文

posted @ 2020-11-11 13:33 乔伊_413 阅读(100) 评论(0) 推荐(0)