随笔分类 - HDFS
摘要:1、NameNode可以有两个,一个active,一个standby 两个NameNode实时共享: JouranlNode hadoop层面,NFS操作系统层面 自动切换:zookeeper HDFS Federation HDFS联盟:多个HDFS集群
阅读全文
摘要:erasure code是一种技术,它可以将n份原始数据,增加m份数据(用来存储erasure编码),并能通过n+m份中的任意n份数据,还原为原始数据。 定义中包含了encode和decode两个过程,将原始的n份数据变为n+m份是encode,之后这n+m份数据可存放在不同的device上,如果有
阅读全文
摘要:1、环境变量 /etc/profile ——java_home \ hadoop_home 主机IP绑定 /etc/hosts 2、配置SSH无密码访问 进Master主机,创建ssh-key 执行:ssh-keygen -t rsa 此时在~/.ssh文件夹下生成两个文件 id_rsa 和 id_
阅读全文

浙公网安备 33010602011771号