随笔分类 -  hadoop

[转载]hadoop SecondNamenode详解
摘要：SecondNamenode名字看起来很象是对第二个Namenode，要么与Namenode一样同时对外提供服务，要么相当于Namenode的HA。真正的了解了SecondNamenode以后，才发现事实并不是这样的。下面这段是Hadoop对SecondNamenode的准确定义： * The Se 阅读全文
posted @ 2016-09-04 20:07 渣渣的步伐 阅读(2029) 评论(0) 推荐(0)
hadoop 分片与分块，map task和reduce task的理解
摘要：分块：Block HDFS存储系统中，引入了文件系统的分块概念（block），块是存储的最小单位，HDFS定义其大小为64MB。与单磁盘文件系统相似，存储在 HDFS上的文件均存储为多个块，不同的是，如果某文件大小没有到达64MB，该文件也不会占据整个块空间。在分布式的HDFS集群上，Hadoop系 阅读全文
posted @ 2016-09-03 20:46 渣渣的步伐 阅读(9262) 评论(0) 推荐(1)
hbase1.1.3 Web端口：16010
摘要：hbase1.1.3 Web端口：16010 阅读全文
posted @ 2016-03-26 16:58 渣渣的步伐 阅读(1239) 评论(0) 推荐(0)
zookeeper集群一次性启动
摘要：编写shell脚本 新建文本，命名为start-zookeeper.sh chmod +x start-zookeeper.sh ./start-zookeeper.sh 阅读全文
posted @ 2016-03-26 16:39 渣渣的步伐 阅读(786) 评论(0) 推荐(0)
hadoop常用命令
摘要：一、Hadoop Web控制台： http://master:50070 登录Web控制台查看hdfs集群状况 http://master:8088 查看ResourceManager运行状态 http://master:8042 查看子节点的NodeManager运行状态 http://maste 阅读全文
posted @ 2016-03-20 14:17 渣渣的步伐 阅读(239) 评论(0) 推荐(0)
eclipse提交hadoop集群跑程序
摘要：在eclipse下搭建hadoop后，测试wordcount程序，右击 Run on hadoop 程序跑成功后，发现“INFO - Job job_local401325246_0001 completed successfully”，程序总是在本地跑，在http://master:8088 控制 阅读全文
posted @ 2016-03-18 15:56 渣渣的步伐 阅读(376) 评论(0) 推荐(0)
在eclipse中运行wordcount，控制台打印log4j警告
摘要：log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).log4j:WARN Please initialize the log4j system properly.log4j:WARN See 阅读全文
posted @ 2016-03-17 20:41 渣渣的步伐 阅读(537) 评论(0) 推荐(0)