随笔分类 - hadoop
摘要:1、概述 DistCp(distributed copy)是一款被用于大型集群间/集群内的复制工具。 它使用MapReduce来实现其分布,错误处理和恢复以及报告。它将文件列表和目录扩展为map任务的输入,每个任务都将复制源文件列表中指定的一些文件的一个分区。 2、基本运用 DistCp最常见的调用
阅读全文
摘要:解决Could not locate executable null\bin\winutils.exe in the Hadoop binaries.问题,
进行源码的追踪,剖析异常原因,加深对问题的解决思路
阅读全文
摘要:通过hadoop安装包自带的资源,进行hadoop集群搭建的验证,并简单介绍一下hdfs的一些操作
阅读全文
摘要:本篇文章是介绍的hadoop2.6.0的源码编译过程,经过实践验证是可以编译成功的。
阅读全文

浙公网安备 33010602011771号