随笔分类 -  Hadoop

YARN
摘要：YARN Hadoop2.0与HAdoop1.0的区别： Hadoop1.0主要由HDFS和MapReduce两个系统够长，但在Hadoop2.0中主要由 Hadoop Common、HDFS 、Hadoop YARN和Hadoop MapReduce2.0构成。 Hadoop1.0更多是在于离线的数据处理，Hadoop2.0可以支持MapReduce计算框架之外，可以支持Spark、St... 阅读全文
posted @ 2014-12-18 14:20 白大虾 阅读(316) 评论(2) 推荐(0)
vmware10上三台虚拟机的Hadoop2.5.1集群搭建
摘要：由于官方版本的Hadoop是32位，若在64位Linux上安装，则必须先重新在64位环境下编译Hadoop源代码。本环境采用编译后的hadoop2.5.1 。安装参考博客：1 http://www.micmiu.com/bigdata/hadoop/hadoop2x-cluster-setup/2 ... 阅读全文
posted @ 2014-12-11 21:06 白大虾 阅读(656) 评论(0) 推荐(0)
在Ubuntu下编译hadoop2.5.x
摘要：在Ubuntu下编译hadoop2.5.x 参考博客：http://www.aboutyun.com/thread-8130-1-1.html 1 下载hadoop源码： （1） http://www.aboutyun.com/thread-8130-1-1.html wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoo... 阅读全文
posted @ 2014-12-10 14:13 白大虾 阅读(629) 评论(0) 推荐(0)
Windows下Eclipse连接hadoop
摘要：hadoop在虚拟机上（远程连接也是一样只需要知道master的ip和core-site.xml配置即可。 Vmware上搭建了hadoop分布式平台： 192.168.11.134 master 192.168.11.135 slave1 192.168.11.136 slave2 core-site.xml 配置文件： fs.d... 阅读全文
posted @ 2014-12-09 23:05 白大虾 阅读(12630) 评论(1) 推荐(0)
通过win下的eclipse连接虚拟机中伪分布的hadoop进行调试
摘要：VMware虚拟机配置Ubuntu桥接方式（Bridged）使虚拟机和宿主机能互相ping通， 通过win下的eclipse连接虚拟机中伪分布的hadoop进行调试 1、设置Bridged上网方式 Vmware菜单栏VM->settings->Network Adapter或者Ctrl+D 2、查看... 阅读全文
posted @ 2014-12-02 20:34 白大虾 阅读(1176) 评论(0) 推荐(0)