摘要: 1.概述 上一篇我们了解了MapReduce的相关流程,包含MapReduce V2的重构思路,新的设计架构,与MapReduce V1的区别等内容,今天我们在来学习下在Hadoop V2中的序列化的相关内容,其目录如下所示:序列化的由来Hadoop序列化依赖图详解Writable常用实现类 下... 阅读全文
posted @ 2015-04-21 10:34 哥不是小萝莉 阅读(2707) 评论(3) 推荐(2) 编辑
摘要: 1.概述 前面我们已经对Hadoop有了一个初步认识,接下来我们开始学习Hadoop的一些核心的功能,其中包含mapreduce,fs,hdfs,ipc,io,yarn,今天为大家分享的是mapreduce部分,其内容目录如下所示:MapReduce V1MapReduce V2MR V1和MR ... 阅读全文
posted @ 2015-04-17 12:06 哥不是小萝莉 阅读(5309) 评论(0) 推荐(6) 编辑
摘要: 1.概述 在完成分析Hadoop2源码的准备工作后,我们进入到后续的源码学习阶段。本篇博客给大家分享,让大家对Hadoop V2有个初步认识,博客的目录内容如下所示:Hadoop的渊源Hadoop V2部分项目图各个包的功能介绍 本篇文章的源码是基于Hadoop-2.6.0来分析,其他版本的Ha... 阅读全文
posted @ 2015-04-15 11:18 哥不是小萝莉 阅读(1717) 评论(0) 推荐(2) 编辑
摘要: 1.概述 最近有同学和网友私信我,问我MongoDB方面的问题;这里我整理一篇博客来赘述下MongoDB供大家学习参考,博客的目录内容如下:基本操作CRUDMapReduce 本篇文章是基于MongoDB集群(Sharding+Replica Sets)上演示的,故操作的内容都是集群层面的,所以... 阅读全文
posted @ 2015-04-13 11:43 哥不是小萝莉 阅读(3721) 评论(2) 推荐(5) 编辑
摘要: 1.概述 我们已经能够搭建一个高可用的Hadoop平台了,也熟悉并掌握了一个项目在Hadoop平台下的开发流程,基于Hadoop的一些套件我们也能够使用,并且能利用这些套件进行一些任务的开发。在Hadoop的应用级别上,我们接着往后面去研究学习,那就是Hadoop的源码了,作为Hadoop开发人员... 阅读全文
posted @ 2015-04-12 00:19 哥不是小萝莉 阅读(5633) 评论(2) 推荐(3) 编辑
摘要: 1.概述 这篇博客不涉及到具体的编码,只是解答最近一些朋友心中的疑惑。最近,一些朋友和网友纷纷私密我,我总结了一下,疑问大致包含以下几点:我学 Hadoop 后能从事什么岗位?在遇到问题,我该如何去寻求解决方案? 针对以上问题,我在这里赘述下个人的经验,给即将步入 Hadoop 行业的同学做个参... 阅读全文
posted @ 2015-04-07 18:01 哥不是小萝莉 阅读(1260) 评论(2) 推荐(6) 编辑
摘要: 1.概述 今天这篇博客就是《高可用Hadoop平台》的尾声篇了,从搭建安装到入门运行 Hadoop 版的 HelloWorld(WordCount 可以称的上是 Hadoop 版的 HelloWorld ),在到开发中需要用到的各个套件以及对套件的安装使用,在到 Hadoop 的实战,一路走来我们... 阅读全文
posted @ 2015-04-03 10:50 哥不是小萝莉 阅读(1519) 评论(2) 推荐(4) 编辑
摘要: 1.概述 今天继续《高可用的Hadoop平台》系列,今天开始进行小规模的实战下,前面的准备工作完成后,基本用于统计数据的平台都拥有了,关于导出统计结果的文章留到后面赘述。今天要和大家分享的案例是一个基于电商网站的用户行为分析,这里分析的指标包含以下指标:统计每日PV每日注册用户每日IP跳出用户 ... 阅读全文
posted @ 2015-04-01 14:54 哥不是小萝莉 阅读(2914) 评论(8) 推荐(5) 编辑
摘要: 1.概述 这篇博客是接着《高可用Hadoop平台》系列讲,本篇博客是为后面用 Hive 来做数据统计做准备的,介绍如何在 Hadoop HA 平台下集成高可用的 Hive 工具,下面我打算分以下流程来赘述:环境准备集成并配置 Hive 工具使用 Java API 开发 Hive 代码 下面开始进... 阅读全文
posted @ 2015-03-26 14:28 哥不是小萝莉 阅读(5711) 评论(3) 推荐(5) 编辑
摘要: 1.概述 最近有同学反应,如何在配置了HA的Hadoop平台运行MapReduce程序呢?对于刚步入Hadoop行业的同学,这个疑问却是会存在,其实仔细想想,如果你之前的语言功底不错的,应该会想到自动重连,自动重连也可以帮我我们解决运行MapReduce程序的问题。然后,今天我赘述的是利用Hado... 阅读全文
posted @ 2015-03-24 14:25 哥不是小萝莉 阅读(3295) 评论(7) 推荐(6) 编辑