随笔分类 -  大数据

[转载] 2 分钟读懂大数据框架 Hadoop 和 Spark 的异同
摘要:转载自https://www.oschina.net/news/73939/hadoop-spark-%20difference 谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它 阅读全文

posted @ 2016-11-30 15:03 追求卓越,厚积薄发 阅读(166) 评论(0) 推荐(0)

[转载] Storm:最火的流式处理框架
摘要:转载自http://www.cnblogs.com/langtianya/p/5199529.html 伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的当然 阅读全文

posted @ 2016-11-30 15:02 追求卓越,厚积薄发 阅读(209) 评论(0) 推荐(0)

[转载] Hive与HBase的联系与区别
摘要:转载自http://blog.csdn.net/wangmuming/article/details/23954527和http://www.cnblogs.com/justinzhang/p/4273470.html共同点:1.HBase与Hive都是架构在Hadoop之上的。都是用Hadoop作... 阅读全文

posted @ 2015-08-29 10:15 追求卓越,厚积薄发 阅读(181) 评论(0) 推荐(0)

[转载] 谷歌技术"三宝"之谷歌文件系统
摘要:转载自http://blog.csdn.net/opennaive/article/details/7483523题记:初学分布式文件系统,写篇博客加深点印象。GFS的特点是使用一堆廉价的商用计算机支撑大规模数据处理。虽然"The Google File System "是03年发表的老文章了,但现... 阅读全文

posted @ 2015-08-25 09:13 追求卓越,厚积薄发 阅读(179) 评论(0) 推荐(0)

[转载] 谷歌技术"三宝"之MapReduce
摘要:转载自http://blog.csdn.net/opennaive/article/details/7514146江湖传说永流传:谷歌技术有"三宝",GFS、MapReduce和大表(BigTable)!谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是03年SOSP的GFS,04年OSDI... 阅读全文

posted @ 2015-08-25 09:12 追求卓越,厚积薄发 阅读(140) 评论(0) 推荐(0)

[转载] 谷歌技术"三宝"之BigTable
摘要:转载自http://blog.csdn.net/opennaive/article/details/75325892006年的OSDI有两篇google的论文,分别是BigTable和Chubby。Chubby是一个分布式锁服务,基于Paxos算法;BigTable是一个用于管理结构化数据的分布式存... 阅读全文

posted @ 2015-08-25 09:11 追求卓越,厚积薄发 阅读(166) 评论(0) 推荐(0)

[转载] MapReduce工作原理讲解
摘要:转载自http://www.aboutyun.com/thread-6723-1-1.html有时候我们在用,但是却不知道为什么。就像苹果砸到我们头上,这或许已经是很自然的事情了,但是牛顿却发现了地球的万有引力。ok了,希望通过了解MapReduce,我们能够写出更好的MapReduce例子。第一部... 阅读全文

posted @ 2015-08-25 08:58 追求卓越,厚积薄发 阅读(169) 评论(0) 推荐(0)

[转载] Spark:大数据的“电光石火”
摘要:转载自http://www.csdn.net/article/2013-07-08/2816149Spark已正式申请加入Apache孵化器,从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名,展现了大数据不常见的“电光石火”。具体特... 阅读全文

posted @ 2015-08-13 19:11 追求卓越,厚积薄发 阅读(164) 评论(0) 推荐(0)

[转载] 从Hadoop到Spark的架构实践
摘要:转载自http://www.csdn.net/article/2015-06-08/2824889http://www.zhihu.com/question/26568496当下,Spark已经在国内得到了广泛的认可和支持:2014年,Spark Summit China在北京召开,场面火爆;同年,... 阅读全文

posted @ 2015-08-13 19:03 追求卓越,厚积薄发 阅读(191) 评论(0) 推荐(0)

[转载] Hive结构
摘要:转载自http://www.csdn.net/article/2010-11-28/282616Hive 体系结构Hive 的结构如图所示主要分为以下几个部分:用户接口,包括 CLI,Client,WUI。元数据存储,通常是存储在关系数据库如 mysql, derby 中。解释器、编译器、优化器、执... 阅读全文

posted @ 2015-08-13 18:54 追求卓越,厚积薄发 阅读(175) 评论(0) 推荐(0)

[转载] 详细讲解Hadoop中的简单数据库HBase
摘要:转载自http://www.csdn.net/article/2010-11-28/282614数据模型HBase数据库使用了和Bigtable非常相似的数据模型。用户在表格里存储许多数据行。每个数据行都包括一个可排序的关键字,和任意数目的列。表格是稀疏的,所以同一个表格里的行可能有非常不同的列,只... 阅读全文

posted @ 2015-08-13 18:43 追求卓越,厚积薄发 阅读(281) 评论(0) 推荐(0)

[转载] HDFS简介
摘要:转载自http://www.csdn.net/article/2010-11-26/282582http://subject.csdn.net/hadoop/一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单... 阅读全文

posted @ 2015-08-13 18:39 追求卓越,厚积薄发 阅读(184) 评论(0) 推荐(0)

[转载] 《Hadoop基础教程》之初识Hadoop
摘要:转载自http://blessht.iteye.com/blog/2095675Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。 《Hadoop基础教程》是我读的第一本Hadoo... 阅读全文

posted @ 2015-08-13 18:26 追求卓越,厚积薄发 阅读(128) 评论(0) 推荐(0)

[转载] Hadoop和Hive单机环境搭建
摘要:转载自http://blog.csdn.net/yfkiss/article/details/7715476和http://blog.csdn.net/yfkiss/article/details/7721329下载hadoophadoop下载地址:http://www.apache.org/dyn... 阅读全文

posted @ 2015-08-13 15:28 追求卓越,厚积薄发 阅读(890) 评论(0) 推荐(0)

[转载] Hadoop MapReduce
摘要:转载自http://blog.csdn.net/yfkiss/article/details/6387613和http://blog.csdn.net/yfkiss/article/details/6387461Hadoop MapReduce是一个用于处理海量数据的分布式计算框架。这个框架解决了诸... 阅读全文

posted @ 2015-08-13 15:22 追求卓越,厚积薄发 阅读(166) 评论(0) 推荐(0)

导航