随笔分类 - 大数据系列
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/41278351花了大约1周的时间，终于把MapReduce的5大阶段的源码学习结束掉了，收获不少，就算本人对Hadoop学习的一个里程碑式的纪念吧。今天花了一点点的时间，把Map...
阅读全文
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/41172865Partition的中文意思就是分区，分片的意思，这个阶段也是整个MapReduce过程的第三个阶段，就在Map任务的后面，他的作用就是使key分到通过一定的分区算...
阅读全文
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/41142795上篇我刚刚学习完，Spilt的过程，还算比较简单的了，接下来学习的就是Map操作的过程了，Map和Reduce一样，是整个MapReduce的重要内容，所以，这一篇...
阅读全文
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/41114259昨天经过几个小时的学习，把MapReduce的第一个阶段的过程学习了一下，也就是最最开始的时候从文件中的Data到key-value的映射，也就是InputForm...
阅读全文
摘要：转自：http://blog.csdn.net/Androidlushangderen/article/details/41051027继前段时间分析Redis源码一段时间之后，我即将开始接下来的一段技术学习的征程，研究的技术就是当前非常火热的Hadoop，但是一个Hadoop生态圈是非常庞大的，所...
阅读全文
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/41243505MapReduce五大过程已经分析过半了，上次分析完Map的过程，着实花费了我的很多时间，不过收获很大，值得了额，这次用同样的方法分析完了Reduce的过程，也算是...
阅读全文
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/41356521在Hadoop中，启动作业运行的方式有很多，可以用命令行格式把打包好后的作业提交还可以，用Hadoop的插件进行应用开发，在这么多的方式中，都会必经过一个流程，作业...
阅读全文
摘要：转自：http://blog.csdn.net/jsagnoy/article/details/41545883从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东...
阅读全文
摘要：转自：http://blog.csdn.net/yangbutao/article/details/8309539redis:1、NIO通信 因都在内存操作，所以逻辑的操作非常快，减少了CPU的切换开销，所以为单线程的模式（逻辑处理线程和主线程是一个）。 reactor模式，实现自己的多路复用N...
阅读全文
摘要：转自：http://blog.csdn.net/yangbutao/article/details/8331937整个处理流程包括主要包括，语法解析（抽象语法树，AST,采用antlr），语义分析(sematic Analyzer生成查询块)，逻辑计划生成（OP tree），逻辑计划优化,物理计划生...
阅读全文
摘要：转自：http://blog.csdn.net/lihm0_1/article/details/22186833YARN作业提交的客户端仍然使用RunJar类，和MR1一样，可参考http://blog.csdn.net/lihm0_1/article/details/13629375在1.x中是向...
阅读全文
摘要：转自：http://blog.csdn.net/keda8997110/article/details/8349049heartbeat 心跳技术原理： heartbeat （Linux-HA）的工作原理：heartbeat最核心的包括两个部分，心跳监测部分和资源接管部分，心跳监测可以通过网络链路...
阅读全文
摘要：转自：http://my.oschina.net/leejun2005/blog/100922最近几次被问到关于数据倾斜的问题，这里找了些资料也结合一些自己的理解. 在并行计算中我们总希望分配的每一个task 都能以差不多的粒度来切分并且完成时间相差不大，但是集群中可能硬件不同，应用的类型不同和切分...
阅读全文
摘要：转自：http://www.aboutyun.com/thread-8391-1-1.html问题导读：1.hbase是什么？2.hbase原理是什么？3.hbase使用中会遇到什么问题？4.如何通过eclipse，操作hbase？5.hbase经常和哪些软件一起使用？。。。。。。。。。。hbase...
阅读全文
摘要：转自：http://blog.fens.me/series-hadoop-family/Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukw...
阅读全文
摘要：转自：http://blog.jobbole.com/47892/为什么非要把SQL放到Hadoop上？ SQL易于使用。那为什么非得基于Hadoop呢？the robust and scalable architecture of Hadoop目前SQL on Hadoop产品主要有以下几种：Hi...
阅读全文
摘要：转自：http://blog.jobbole.com/86710/这是一组系列博文，目的是详尽介绍 SQL-on-Hadoop 。本系列的第一篇会介绍 Hadoop 系统的存储引擎和在线事务处理（简称 OLTP ）；第二篇将介绍在线分析处理（简称 OLAP ）；第三篇将介绍对 Hadoop 引擎的改...
阅读全文
摘要：转自：http://blog.jobbole.com/87159/这是一组系列博客，目的是详尽介绍 SQL-on-Hadoop 。该系列的第一篇会介绍一些存储引擎和在线事务处理（简称 OLTP ）相关话题，这一篇将介绍联机分析处理（简称 OLAP ），第三篇将介绍对 Hadoop 引擎改造以及在相关...
阅读全文
摘要：转自：http://blog.jobbole.com/88283/一、来源Streaming Hadoop Performance Optimization at Scale, Lessons Learned at Twitter(Data platform @Twitter)二、观后感2.1 概要...
阅读全文
摘要：转自：http://blog.jobbole.com/48595/诞 生在2011年Storm开源之前，由于Hadoop的火红，整个业界都在喋喋不休地谈论大数据。Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，...
阅读全文
浙公网安备 33010602011771号