2012年5月29日
摘要:
上一篇,详细介绍了用三台主机搭建 Hadoop 集群环境,有了环境,接下来就是进行Hadoop MapReduce 开发调试工作。而在windows中进行开发,对于大多数人来说,还是比较舒适的。这篇随笔,就是在上篇搭好环境的基础上,进一步介绍如何在Windows环境下用Eclipse连接Hadoop集群,并给出了Hadoop MapReduce程序的类HelloWorld程序:WorldCount。
阅读全文
posted @ 2012-05-29 00:15
石头儿
阅读(29004)
推荐(9)
2012年5月21日
摘要:
自从换了工作,并进入北航云计算科学与技术在职研究生高端班,工作和学习的双重需要,开始学习hadoop,从0开始,逐渐入门,期间遇到很多错误,走了很多弯路,请教很多高手,查了很多资料,终于步入正轨,并开始进入源码学习轨道。在同学的强烈要求下,也为了自己以后查阅及记录学习过程,写下这边hadoop step by step 文章,希望对新手有用。本文内容包含一下部分:
-部署环境
-节点安排及网络拓扑
-配置步骤
一、网络配置
二、安装jdk
三、建立ssh互信
四、配置Hadoop
五、运行Hadoop 自带example中求PI值小程序
阅读全文
posted @ 2012-05-21 01:07
石头儿
阅读(21066)
推荐(6)
2012年5月12日
摘要:
日常学习工作调试过程中所遇到的所有有关hadoop的错误记录
阅读全文
posted @ 2012-05-12 22:50
石头儿
阅读(2288)
推荐(0)
2012年5月5日
摘要:
原本是学习Hadoop的,但Hadoop是多台主机进行交互的,交互就要涉及到网络配置。以前一直用Ubuntu,但看Hadoop学习还是力荐Redhat,所以这次就小练Redhat,本以为Ubuntu和Redhat网络配置差不多,但是用了才发现,还是有很多不同的,记录下学习路线和相关知识,供以后查阅及后来者参考,少走弯路。
阅读全文
posted @ 2012-05-05 15:13
石头儿
阅读(11646)
推荐(2)
2012年4月26日
摘要:
云计算的定义,云计算的“3”种服务模型,“4”中部署模型,“5”大基础特征进行介绍,以及NIST云计算参考架构,相信看过之后,会对云计算有更深一步的了解。
阅读全文
posted @ 2012-04-26 18:56
石头儿
阅读(2746)
推荐(5)
2012年4月25日
摘要:
在分析云计算产业链之前,首先要对“云计算”和“产业链”有个清晰的认识。现在业界对云计算的定义有很多版本,容易给人们特别是非IT人员造成歧义。我们认为云计算和其它计算相比,在技术、业务模式和经济三个方面都存在着很大不同。首先从技术方面来看,云计算是通过提供虚拟化、容错和并行处理的软件将传统的计算、网络、存储资源转化成可以弹性伸缩的服务。例如亚马逊采用Xen的虚拟化技术将物理的服务器群虚拟成可弹性伸缩的资源池;谷歌采用容错、并行的GFS文件系统提供存储服务等。而从业务模式方面来看,云计算提供一种按用量付费的服务提供模式。例如Salesforce.com提供按每企业用户每月125美元收费使用的在线客户关系管理系统。最后从经济方面来看,云计算的一个鲜明特点是通过采用廉价服务器而不是高性能服务器来构建提供大规模服务的基础设施资源。例如谷歌、亚马逊等都采用廉价服务器来提供服务。如果一种计算没有同时具备这三方面的特点,那很有可能不是真正意义上的云计算,而有可能是网格计算、高性能计算或是其它计算。简而言之,云计算就是把廉价硬件软件化,软件服务化,服务运营化,运营规模化的一套技术和业务模式。
阅读全文
posted @ 2012-04-25 14:04
石头儿
阅读(790)
推荐(0)
posted @ 2012-04-25 13:55
石头儿
阅读(248)
推荐(0)
2012年4月19日
posted @ 2012-04-19 10:05
石头儿
阅读(2137)
推荐(0)
2012年4月15日
摘要:
持续添加中0. Linux命令大全1. Unix命令大全2.chmod命令详解3. more命令详解
阅读全文
posted @ 2012-04-15 19:30
石头儿
阅读(489)
推荐(0)
2012年4月14日
摘要:
SSH部分:
什么是SSH
SSH功能
验证
结构
Ubuntu中安装SSH
SecureCRT部分
SecureCRT介绍及其特点
结合VMware,Ubuntu实际使用SecureCRT,步骤及图片
阅读全文
posted @ 2012-04-14 23:38
石头儿
阅读(7698)
推荐(2)