文章分类 -  HADOOP

深入理解Hadoop集群和网络
摘要：导读：云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad Hedlund撰写，他曾在思科工作多年，专长是数据中心、云网络等。文章素材基于作者自己的研究、实验和Cloudera的培训资料。本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。Hadoop里的服务器角色Hadoop主要的任务部署分为3个部分，分别是：Client机器，主节点和从节点。主节点主要负责Hadoop两个关键功能模块HDFS、Map Reduce的监督。当Job Tracker使用Map Reduc 阅读全文
posted @ 2012-08-31 12:56 luckc# 阅读(649) 评论(0) 推荐(0)
PHP通过Thrift操作Hbase
摘要：HBase是一个开源的NoSQL产品，它是实现了Google BigTable论文的一个开源产品，和Hadoop和HDFS一起，可用来存储和处理海量column family的数据。官方网址是：http://hbase.apache.org一 、HBase访问接口1. Native Java API，最常规和高效的访问方式，适合Hadoop MapReduce Job并行批处理HBase表数据2. HBase Shell，HBase的命令行工具，最简单的接口，适合HBase管理使用3. Thrift Gateway，利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其 阅读全文
posted @ 2012-08-02 14:40 luckc# 阅读(754) 评论(0) 推荐(0)
MapReduce数据流
摘要：Hadoop的核心组件在一起工作时如下图所示：图4.4高层MapReduce工作流水线 MapReduce的输入一般来自HDFS中的文件，这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点甚至所有节点上运行mapping任务，每一个mapping任务都是平等的：mappers没有特定“标识物”与其关联。因此，任意的mapper都可以处理任意的输入文件。每一个mapper会加载一些存储在运行节点本地的文件集来进行处理（译注：这是移动计算，把计算移动到数据所在节点，可以避免额外的数据传输开销）。 当mapping阶段完成后，这阶段所生成的中间键值对数据必须在节点.. 阅读全文
posted @ 2012-08-02 14:39 luckc# 阅读(269) 评论(0) 推荐(0)
Hadoop HDFS分布式文件系统设计要点与架构
摘要：Hadoop简介：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed FileSystem），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streami 阅读全文
posted @ 2012-08-02 14:38 luckc# 阅读(229) 评论(0) 推荐(0)
用PHP编写Hadoop的MapReduce程序
摘要：Hadoop流虽然Hadoop是用java写的，但是Hadoop提供了Hadoop流，Hadoop流提供一个API, 允许用户使用任何语言编写map函数和reduce函数.Hadoop流动关键是，它使用UNIX标准流作为程序与Hadoop之间的接口。因此，任何程序只要可以从标准输入流中读取数据，并且可以把数据写入标准输出流中，那么就可以通过Hadoop流使用任何语言编写MapReduce程序的map函数和reduce函数。例如：bin/hadoop jar contrib/streaming/hadoop-streaming-0.20.203.0.jar -mapper /usr/local/ 阅读全文
posted @ 2012-08-02 14:38 luckc# 阅读(336) 评论(1) 推荐(0)
HDFS写入和读取流程
摘要：一、HDFSHDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。目前HDFS支持的使用接口除了Java的还有，Thrift、C、FUSE、WebDAV、HTTP等。HDFS是以block-sized chunk组织其文件内容的，默认的block大小为64MB，对于不足64MB的文件，其会占用一个block，但实际上不用占用实际硬盘上的64MB，这可以说是HDFS是在文件系统之上架设的一个中间层。之所以将默认的bl 阅读全文
posted @ 2012-08-02 14:38 luckc# 阅读(1533) 评论(0) 推荐(1)
谷歌三大核心技术（二）Google MapReduce中文版
摘要：Google MapReduce中文版译者: alex摘要MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。现实世界中有很多满足上述处理模型的例子，本论文将详细描述这个模型。MapReduce架构的程序能够在大量的普通配置的计算机上实现并行化处理。这个系统在运行时只关心：如何分割输入数据，在大量计算机组成的集群上的调度，集群中计算机的错误处理，管理 阅读全文
posted @ 2012-08-02 14:37 luckc# 阅读(213) 评论(0) 推荐(0)
谷歌三大核心技术（三）Google BigTable中文版
摘要：Bigtable：一个分布式的结构化数据存储系统译者：alex摘要Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。Google的很多项目使用Bigtable存储数据，包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大，无论是在数据量上（从URL到网页到卫星图像）还是在响应速度上（从后端的批量处理到实时数据服务）。尽管应用需求差异很大，但是，针对Google的这些产品，Bigtable还是成功的提供了一个灵活的、高性能的解决方案。本论文描述了Bigtabl 阅读全文
posted @ 2012-08-02 14:37 luckc# 阅读(412) 评论(0) 推荐(0)
谷歌三大核心技术（一）The Google File System中文版
摘要：The Google File System中文版译者：alex摘要我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处，但是，我们的设计还是以我们对自己的应用的负载情况和技术环境的分析为基础的，不管现在还是将来，GFS和早期的分布式文件系统的设想都有明显的不同。所以我们重新审视了传统文件系统在设计上的折衷选择，衍生出了完全不同的设计思路。GFS完全满足了我们对存储的需求。GFS作为存 阅读全文
posted @ 2012-08-02 14:36 luckc# 阅读(221) 评论(0) 推荐(0)
Hadoop实战实例
摘要：Hadoop实战实例 Hadoop是GoogleMapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样，MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统得资源。一、概论作为Hadoop程序员，他要做的事情就是：1、定义Mapper，处理输入的Key-Value对，输出中间结果。2、定义Re 阅读全文
posted @ 2012-08-02 14:35 luckc# 阅读(414) 评论(0) 推荐(0)
hbase安装配置（整合到hadoop）
摘要：hbase安装配置（整合到hadoop）Huangguisu1.快速单机安装：在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。1.1下载解压最新版本选择一个Apache 下载镜像：http://www.apache.org/dyn/closer.cgi/hbase/，下载HBase Releases. 点击stable目录，然后下载后缀为.tar.gz的文件; 例如hbase-0.90.4.tar.gz.$ tar xfz hbase-0.90.4.tar.gz$ cd hbase-0.90.4现在你已经 阅读全文
posted @ 2012-08-02 14:35 luckc# 阅读(394) 评论(0) 推荐(0)
Hadoop Hive与Hbase整合
摘要：Hadoop Hive与Hbase整合一 、简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类， 大致意思如图所示：二、安装步骤：1 .Hadoop和Hbase都已经成功安装了Had 阅读全文
posted @ 2012-08-02 14:34 luckc# 阅读(347) 评论(0) 推荐(0)
Hadoop集群配置（最全面总结）
摘要：Hadoop集群配置（最全面总结）huangguisu 通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK ，ssh，HadoopJavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。ssh必须安装并且保证 阅读全文
posted @ 2012-08-02 14:00 luckc# 阅读(433) 评论(0) 推荐(0)
对话：大数据时代我们如何做处理与分析
摘要：大数据的浪潮有多迅猛？IDC在2006年估计全世界产生的数据量是0.18ZB（1ZB=100万PB），而今年这个数字已经提升了一个数量级，达到1.8ZB，差不多对应全世界每个人一块100多GB的硬盘。这种增长还在加速，预计2015年将达到近8ZB。目前IT系统的存储能力远远不足，就更不用说深入地挖掘和分析了。在本文中，百度首席科学家威廉?张、Teradata首席客户官周俊凌、Yahoo!北京全球软件研发中心架构师韩轶平、SAP中国区企业信息管理咨询资深顾问杜韬等四位业内专家，将分享他们在应对海量数据挑战方面的见解和经验。您所在企业的数据量现在达到了什么规模？威廉?张：这个问题比较容易回答。百度 阅读全文
posted @ 2012-01-17 17:07 luckc# 阅读(164) 评论(0) 推荐(0)
大数据处理三大瓶颈:大容量、多格式和速度
摘要：导读：Yahoo CTO Raymie Stata是领导海量数据分析引擎的关键人物。IBM和Hadoop将更多的精力专注在海量数据上，海量数据正在潜移默化的改变企业和IT部门。越来越多的大企业的数据集以及创建需要的一切技术，包括存储、网络、分析、归档和检索等，这些被认为是海量数据。这些大量信息直接推动了存储、服务器以及安全的发展。同时也是给IT部门带来了一系列必须解决的问题。信息技术研究和分析的公司Gartner认为海量数据处理应该是将大量的不同种类以及结构化和非结构化的数据通过网络汇集到处理器和存储设备之中，并伴随着将这些数据转换为企业的商业报告。海量数据处理的三个主要因素：大容量数据、多格 阅读全文
posted @ 2012-01-17 17:05 luckc# 阅读(261) 评论(0) 推荐(0)
使用hadoop进行大规模数据的全局排序
摘要：1. Hellow hadoop~~! Hadoop（某人儿子的一只虚拟大象的名字）是一个复杂到极致，又简单到极致的东西。 说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分发，执行中间数据排序以及最后的汇总，期间还包含节点发现，任务的重试，故障节点替换等等等等的维护以及异常情况处理。谁叫hadoop集... 阅读全文
posted @ 2011-10-15 14:25 luckc# 阅读(196) 评论(0) 推荐(0)