随笔 - 60  文章 - 0  评论 - 539  0
  2012年5月16日
摘要:1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。 在Hadoop 阅读全文
posted @ 2012-05-16 16:20 虾皮 阅读 (157666) 评论 (46) 编辑
摘要:1、Linux配置java环境变量 1.1 原文出处 地址:http://blog.csdn.net/jiedushi/article/details/6672894 1.2 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录,执行命令 ./jdk-6u 阅读全文
posted @ 2012-05-16 15:54 虾皮 阅读 (22321) 评论 (2) 编辑
摘要:1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用 阅读全文
posted @ 2012-05-16 14:28 虾皮 阅读 (258885) 评论 (92) 编辑
摘要:1、SecureCRT简介 SecureCRT是一款支持SSH(SSH1和SSH2)的终端仿真程序,同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRT 阅读全文
posted @ 2012-05-16 14:11 虾皮 阅读 (24312) 评论 (4) 编辑
摘要:1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件,它的全称是Very Secure FTP 从此名称可以看出来,编制者的初衷是代码的安全。 安全性是编写VSFTP的初衷,除了这与生俱来的安全特性以外,高速与高稳定性也是VSFTP的两个重要特点。 在速度方面, 阅读全文
posted @ 2012-05-16 13:45 虾皮 阅读 (28695) 评论 (17) 编辑
摘要:1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。 图1 集群的架构 其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet,实验网页 阅读全文
posted @ 2012-05-16 13:37 虾皮 阅读 (29718) 评论 (17) 编辑
摘要:1、准备安装 1.1 系统简介 CentOS 是什么? CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持(通过安全更新方式)。新版本的 CentOS 每两年发行一次,而每个版本的 CentO 阅读全文
posted @ 2012-05-16 12:48 虾皮 阅读 (54625) 评论 (24) 编辑