2012年6月18日
摘要: 1、系统管理 1.1 连接MySQL 格式: mysql -h主机地址 -u用户名 -p用户密码 举例: 例1:连接到本机上的MySQL。 首先在打开DOS窗口,然后进入目录 mysqlbin,再键入命令"mysql –u root –p",回车后提示你输密码,如果刚安装好MySQL,超级用户"ro 阅读全文
posted @ 2012-06-18 16:13 虾皮 阅读(10266) 评论(12) 推荐(16) 编辑
  2012年6月12日
摘要: 1、MySQL安装 MySQL下载地址:http://www.mysql.com/downloads/ 1.1 Windows平台 1)准备软件 MySQL版本:mysql-5.5.21-win32.msi 2)安装环境: 操作系统:Windows 7旗舰版 3)开始安装 第一步:双击"msi"安装 阅读全文
posted @ 2012-06-12 13:58 虾皮 阅读(24605) 评论(16) 推荐(22) 编辑
  2012年6月4日
摘要: 1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。 1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 阅读全文
posted @ 2012-06-04 13:22 虾皮 阅读(116603) 评论(47) 推荐(51) 编辑
  2012年5月28日
摘要: 1、HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征 阅读全文
posted @ 2012-05-28 09:26 虾皮 阅读(59408) 评论(28) 推荐(39) 编辑
  2012年5月20日
摘要: 1、Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i5 阅读全文
posted @ 2012-05-20 19:09 虾皮 阅读(87789) 评论(48) 推荐(35) 编辑
  2012年5月16日
摘要: 1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。 在Hadoop 阅读全文
posted @ 2012-05-16 16:20 虾皮 阅读(168658) 评论(47) 推荐(100) 编辑
摘要: 1、Linux配置java环境变量 1.1 原文出处 地址:http://blog.csdn.net/jiedushi/article/details/6672894 1.2 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录,执行命令 ./jdk-6u 阅读全文
posted @ 2012-05-16 15:54 虾皮 阅读(23181) 评论(2) 推荐(11) 编辑
摘要: 1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用 阅读全文
posted @ 2012-05-16 14:28 虾皮 阅读(281456) 评论(93) 推荐(132) 编辑
摘要: 1、SecureCRT简介 SecureCRT是一款支持SSH(SSH1和SSH2)的终端仿真程序,同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRT 阅读全文
posted @ 2012-05-16 14:11 虾皮 阅读(25729) 评论(4) 推荐(12) 编辑
摘要: 1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件,它的全称是Very Secure FTP 从此名称可以看出来,编制者的初衷是代码的安全。 安全性是编写VSFTP的初衷,除了这与生俱来的安全特性以外,高速与高稳定性也是VSFTP的两个重要特点。 在速度方面, 阅读全文
posted @ 2012-05-16 13:45 虾皮 阅读(30192) 评论(17) 推荐(19) 编辑