博客园  :: 首页  :: 联系 :: 管理

2016年8月21日

摘要: 基于Centos7安装过程中常用工具及操作技术总结回顾。 操作技巧: tab键,命令自动补全 xshell 默认: Ctrl + Insert (复制) Shift + Insert (粘贴) systemctl 服务操作命令: systemctl start postfix.service 启动一 阅读全文

posted @ 2016-08-21 21:09 天戈朱 阅读(647) 评论(0) 推荐(0) 编辑

摘要: client 向 Active NN 发送写请求时,NN为这些数据分配DN地址,HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。一个简单但非优化的副本放置策略是,把副本分别放在不同机架,甚至不同IDC,这样可以防止整个机架、甚至整个IDC崩溃带来的错误,但是这样文件写必须在多个机架之 阅读全文

posted @ 2016-08-21 17:06 天戈朱 阅读(2608) 评论(0) 推荐(0) 编辑

摘要: 早期的hadoop版本,NN是HDFS集群的单点故障点,每一个集群只有一个NN,如果这个机器或进程不可用,整个集群就无法使用。为了解决这个问题,出现了一堆针对HDFS HA的解决方案(如:Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quo 阅读全文

posted @ 2016-08-21 16:09 天戈朱 阅读(16561) 评论(2) 推荐(2) 编辑

摘要: 在配置hbase集群将 hdfs 挂接到其它镜像盘时,有不少困惑的地方,结合以前的资料再次学习; 大数据底层技术的三大基石起源于Google在2006年之前的三篇论文GFS、Map-Reduce、 Bigtable,其中GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生, 阅读全文

posted @ 2016-08-21 11:13 天戈朱 阅读(6501) 评论(2) 推荐(4) 编辑