随笔分类 - hadoop
摘要:从Hadoop1到Hadoop2很大程度上解放了Jobtracker资源调度的问题,这就得多亏了yarn平台了。我知道的,除了我们的大豆瓣用的是Mesos,咱们国家可以说应该是99.99%都使用的是yarn,当然了,国外使用的大多是Mesos。(然而我对Mesos并不理解啥,只知道他和yarn一样的
阅读全文
摘要:搭建集群后再namenode上查看进程发现除了三个基本进程还可能有别的进程,例如本来在子节点出现的进程出现在了主节点上,namenode按正常来说是有三个进程的:namenode,resourcemanager,secondarynamenode,子节点上有两个进程:nodemanager,data
阅读全文
摘要:解决"no datanode to stop"问题当我停止Hadoop时发现如下信息: no datanode to stop原因:每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了n
阅读全文
摘要:用自己电脑搭建hadoop集群的时候总是会遇到各种奇葩的问题,因为虚拟机总是会比真实的环境差很多的,有些奇葩的问题真是让我郁闷不行不行的~~像这个问题,搭了三遍的集群遇见各种奇葩问题,最后找了一个终极大招:但是,但是,前提是,新搭的集群,如果HDFS里面已经有数据了,那就别用了,因为会把你的hado
阅读全文

浙公网安备 33010602011771号