随笔分类 -  hadoop

hadoop相关
配置参数
摘要：hadoop参数配置，主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置，core-default.x 阅读全文
posted @ 2017-06-13 16:14 sky_sql 阅读(393) 评论(0) 推荐(0)
hdfs 机架感知
摘要：client 向 Active NN 发送写请求时，NN为这些数据分配DN地址，HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。一个简单但非优化的副本放置策略是，把副本分别放在不同机架，甚至不同IDC，这样可以防止整个机架、甚至整个IDC崩溃带来的错误，但是这样文件写必须在多个机架之 阅读全文
posted @ 2017-06-13 16:11 sky_sql 阅读(431) 评论(0) 推荐(0)
hdfs HA原理
摘要：hadoop1.x 版本，NN是HDFS集群的单点故障点，每一个集群只有一个NN，如果这个机器或进程不可用，整个集群就无法使用。为了解决这个问题，出现了一堆针对HDFS HA的解决方案(如：Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Qu 阅读全文
posted @ 2017-06-13 15:59 sky_sql 阅读(345) 评论(0) 推荐(0)
深度剖析hdfs原理
摘要：深度剖析hdfs原理 阅读全文
posted @ 2017-06-13 15:09 sky_sql 阅读(313) 评论(0) 推荐(0)
HDFS NameNode内存详解
摘要：HDFS NameNode内存详解 阅读全文
posted @ 2017-05-15 11:07 sky_sql 阅读(7141) 评论(0) 推荐(0)
HDFS NameNode内存全景
摘要：HDFS NameNode内存全景 阅读全文
posted @ 2017-05-15 11:04 sky_sql 阅读(962) 评论(0) 推荐(0)