12 2021 档案
大数据之ZooKeeper
摘要:数据模型 ZooKeeper数据模型是一个树状的数据结构,类似于文件系统;和文件系统的区别在于树中的每一个节点(叶子节点与非叶子节点)都可以保存数据,且每个节点的访问都必须从根节点开始,以斜线作为分隔的访问路径,如 /root/a/b/,它没有相对路径的概念,所有的节点都必须通过绝对路径来访问; Z
阅读全文
大数据分布式存储之Cassandra
摘要:分布式存储区别于集中式数据库存储,通过网络将海量数据存储到企业的各个数据节点(可能分布到不同的数据中心或机架上); 分布式存储需要考虑的问题 元数据管理 元数据是指数据本身的标识,通过元数据能很快的找到数据存储的位置,比如在分布式文件系统中,元数据是指文件的路径名+文件名;元数据管理包括集中式元数据
阅读全文
HDFS分布式文件系统
摘要:HDFS分布式文件系统是一个部署在廉价机器上基于POSIX约束的高容错性、高吞吐量的大规模分布式文件管理系统;它适合于大文件的存储,应用于“一次写入多次读取”的文件模型。 架构 HDFS采用的是Master/Slave架构,一个HDFS集群由一个NameNode和一定数目的Datanotes组成,N
阅读全文
浙公网安备 33010602011771号