2012年5月16日
摘要: 1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。 在Hadoop 阅读全文
posted @ 2012-05-16 16:20 虾皮 阅读(168658) 评论(47) 推荐(100) 编辑
摘要: 1、Linux配置java环境变量 1.1 原文出处 地址:http://blog.csdn.net/jiedushi/article/details/6672894 1.2 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录,执行命令 ./jdk-6u 阅读全文
posted @ 2012-05-16 15:54 虾皮 阅读(23179) 评论(2) 推荐(11) 编辑
摘要: 1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用 阅读全文
posted @ 2012-05-16 14:28 虾皮 阅读(281434) 评论(93) 推荐(132) 编辑
摘要: 1、SecureCRT简介 SecureCRT是一款支持SSH(SSH1和SSH2)的终端仿真程序,同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRT 阅读全文
posted @ 2012-05-16 14:11 虾皮 阅读(25726) 评论(4) 推荐(12) 编辑
摘要: 1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件,它的全称是Very Secure FTP 从此名称可以看出来,编制者的初衷是代码的安全。 安全性是编写VSFTP的初衷,除了这与生俱来的安全特性以外,高速与高稳定性也是VSFTP的两个重要特点。 在速度方面, 阅读全文
posted @ 2012-05-16 13:45 虾皮 阅读(30188) 评论(17) 推荐(19) 编辑
摘要: 1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。 图1 集群的架构 其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet,实验网页 阅读全文
posted @ 2012-05-16 13:37 虾皮 阅读(31355) 评论(17) 推荐(29) 编辑
摘要: 1、准备安装 1.1 系统简介 CentOS 是什么? CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持(通过安全更新方式)。新版本的 CentOS 每两年发行一次,而每个版本的 CentO 阅读全文
posted @ 2012-05-16 12:48 虾皮 阅读(57039) 评论(24) 推荐(69) 编辑