随笔分类 -  hadoop

摘要：HDFS HDFS 全称hadoop分布式文件系统，其最主要的作用是作为 Hadoop 生态中各系统的存储服务 特点 优点 • 高容错、高可用、高扩展 －数据冗余多副本，副本丢失后自动恢复 －NameNode HA、安全模式 －10K节点规模 • 海量数据存储 －典型文件大小GB~TB，百万以上文件 阅读全文

摘要：HDFS是Hadoop中自带的分布式文件系统，具有高容错、运行在廉价的机器上和高吞吐等特性。 1、hdfs命令格式 l Hadoop fs：使用面最广，可以操作任何文件系统。 l hadoop dfs与hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Depr 阅读全文