摘要：HDFS（Hadoop分布式文件系统）的思路特别实在：切分+多节点备份 DataNode：多节点存，还怕丢数据？切好的小数据块，会分散存到集群里的“DataNode”（存储节点）上。 NameNode：“大脑”记位置，不用瞎找，这么多DataNode和数据块，咋知道哪个块在哪？HDFS有个“指挥中心 阅读全文

摘要：HDFS Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。 NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等； DataNode(dn)：在 阅读全文

摘要：大数据 大数据 (Big Data)指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据主要解决，海量数据的采集、存储和分析计算问题。 1、核心组件 (1) HDFS（Hadoo 阅读全文