文章分类 -  Hadoop

【转】Hadoop Shell命令
摘要：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.htmlFS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://author... 阅读全文
posted @ 2015-07-07 15:47 MERRU 阅读(143) 评论(0) 推荐(0)
【转】Hadoop集群在Linux系统下的时间同步
摘要：http://www.hello-code.com/group/Hadoop/201407/1291.html说明：由于hadoop集群对时间要求很高，所以集群内主机要经常同步。本文档适合ubuntu、redhat系列。注：很多内容是在网上摘录，然后试验后总结，如有疑问可留言探讨。1.设置主机时间准... 阅读全文
posted @ 2015-07-07 15:39 MERRU 阅读(275) 评论(0) 推荐(0)
【原】Hadoop读取HDFS 文件简单示例
摘要：本文以文本分类中统计TF、IDF为例，简单介绍Java读HDFS文件操作，其中，文件URL在已配置到conf中。 1 protected void setup(Context context) throws IOException, InterruptedException { 2 3 Conf... 阅读全文
posted @ 2015-07-06 10:12 MERRU 阅读(313) 评论(0) 推荐(0)
【转】hadoop2.6.0版本集群环境搭建
摘要：FROM : http://www.aboutyun.com/thread-11824-1-1.html问题导读1.安装hadoop需要做哪些准备？2.如何验证hadoop是否成功？3.如何运行wordcout?一、环境说明1、机器：一台物理机 和一台虚拟机2、linux版本：[spark@S1PA... 阅读全文
posted @ 2015-07-06 10:00 MERRU 阅读(132) 评论(0) 推荐(0)
【转】Hadoop MapReduce新旧API区别
摘要：FROM :http://blog.csdn.net/jokes000/article/details/7060475新增的Java MapReduce APIHadoop的版本0.20.0包含有一个新的 Java MapReduce API，有时也称为"上下文对象"(context object)... 阅读全文
posted @ 2015-07-06 09:52 MERRU 阅读(182) 评论(0) 推荐(0)
【转】hadoop学习笔记：hadoop文件系统浅析
摘要：FROM :http://www.cnblogs.com/sharpxiajun/archive/2013/06/15/3137765.html1.什么是分布式文件系统？管理网络中跨多台计算机存储的文件系统称为分布式文件系统。2.为什么需要分布式文件系统了？原因很简单，当数据集的大小超过一台独立物理... 阅读全文
posted @ 2015-07-06 09:49 MERRU 阅读(111) 评论(0) 推荐(0)
【转】使用JobControl管理mapreduce多job依赖
摘要：FROM :http://zhenghangcx.iteye.com/blog/1834889当我们在处理mr问题的时候，有时候需求过于复杂，通过一个简单的mr无法达到目的，我们该怎么办呢？答案是采取JobControl，直接上代码。Java代码 /***job2依赖于job1*@paramjob1... 阅读全文
posted @ 2015-07-06 09:45 MERRU 阅读(210) 评论(0) 推荐(0)
【转】Hadoop之JobControl的实现原理
摘要：FROM :http://book.51cto.com/art/201312/422167.htm《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》第3章MapReduce编程模型，本章不介绍Hadoop MapReduce API的使用方法，而是从实现角度介绍其设计方法。本节为... 阅读全文
posted @ 2015-07-06 09:43 MERRU 阅读(252) 评论(0) 推荐(0)
【转】 适合国内网速的CDH5安装
摘要：最近安装CDH版hadoop集群，出现节点间通信故障，用以下博文中的方法解决了此问题。0.集群规划说明：由于CDH可以方便的动态添加删除主机，动态改变主机上的服务，所以后面再对各机器上跑得服务进行分配。共三台机器操作系统: centos6.5机器名：work01、work02、work03work0... 阅读全文
posted @ 2015-04-06 19:34 MERRU 阅读(373) 评论(0) 推荐(0)