摘要:准备:由于是在win7下的eclipse中运行hadoop程序,我们需要一些能在win7下运行的插件, 1,见上篇博客,我们搭建好hadoop HA机制的集群后,将三台虚拟机均开启,所需进程也开启(见上篇博客) 2,在wind7下的某个文件夹下保存hadoop-2.4.1的文件夹,该文件夹里的内容和
        
阅读全文
 
        
            
            
摘要:今天是2017年5月9日,记录下今天 关于大数据,关于hadoop,大概学习了两个月左右,今天也在我的课上把ppt给讲了,个人觉得讲的不是很清晰,但别人夸我讲的好,可能是因为我把实验做出来了的原因,也就是在eclipse中运行wordcount以及cascading-wordcount,但是,我觉得
        
阅读全文
 
        
            
            
摘要:关于hadoop的HA配置以及wordcount测试 一,简单环境配置 1,查看centos版本位数: $>getconf LONG_BIT, 2,桌面模式和文本模式之间进行切换: 1),在终端命令行进行设置时只能暂时改变模式, $>init 3 表示切换到文本模式 $>init 5 表示切换到桌面
        
阅读全文
 
        
            
            
摘要:在eclipse下运行wordcount,使用cascading封装 准备:centos系统,jdk,hadoop,eclipse,cascading的lib包,官网可下载,自带cascading封装的wordcount源码,以及爬虫数据data目录,这些均可以在官网下载 我是在cascading官
        
阅读全文