随笔分类 -  hadoop

摘要:1、概述 DistCp(distributed copy)是一款被用于大型集群间/集群内的复制工具。 它使用MapReduce来实现其分布,错误处理和恢复以及报告。它将文件列表和目录扩展为map任务的输入,每个任务都将复制源文件列表中指定的一些文件的一个分区。 2、基本运用 DistCp最常见的调用 阅读全文
posted @ 2018-03-28 11:05 提君 阅读(9784) 评论(0) 推荐(0)
摘要:解决Could not locate executable null\bin\winutils.exe in the Hadoop binaries.问题, 进行源码的追踪,剖析异常原因,加深对问题的解决思路 阅读全文
posted @ 2017-09-21 11:39 提君 阅读(35637) 评论(2) 推荐(3)
摘要:通过hadoop安装包自带的资源,进行hadoop集群搭建的验证,并简单介绍一下hdfs的一些操作 阅读全文
posted @ 2017-09-18 17:35 提君 阅读(1130) 评论(0) 推荐(0)
摘要:hadoop编译源码,遇到的一些问题汇总。 阅读全文
posted @ 2017-09-18 16:35 提君 阅读(345) 评论(0) 推荐(0)
摘要:本篇文章是介绍的hadoop2.6.0的源码编译过程,经过实践验证是可以编译成功的。 阅读全文
posted @ 2017-09-18 14:51 提君 阅读(456) 评论(0) 推荐(0)