随笔分类 -  hadoop

hadoop程序问题：java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
摘要：Java代码如下：FileSystemfs=FileSystem.get(conf);in=fs.open(newPath("hdfs://192.168.130.54:19000/user/hmail/output/part-00000"));抛出异常如下：Exceptioninthread"ma... 阅读全文
posted @ 2015-07-16 10:40 数据手艺人 阅读(6016) 评论(0) 推荐(0)
【hadoop】如何向map和reduce脚本传递参数,加载文件和目录
摘要：本文主要讲解三个问题： 1 使用Java编写MapReduce程序时，如何向map、reduce函数传递参数。 2 使用Streaming编写MapReduce程序(C/C++, Shell, Python)时，如何向map、reduce脚本传递参数。 3 使用Streaming编写Ma... 阅读全文
posted @ 2015-05-28 17:57 数据手艺人 阅读(9580) 评论(0) 推荐(3)
【转】RHadoop实践系列之二：RHadoop安装与使用
摘要：RHadoop实践系列之二：RHadoop安装与使用RHadoop实践系列文章，包含了R语言与Hadoop结合进行海量数据分析。Hadoop主要用来存储海量数据，R语言完成MapReduce 算法，用来替代Java的MapReduce实现。有了RHadoop可以让广大的R语言爱好者，有更强大的工具处... 阅读全文
posted @ 2015-05-26 16:05 数据手艺人 阅读(562) 评论(0) 推荐(0)
【转】RHadoop实践系列之一:Hadoop环境搭建
摘要：RHadoop实践系列之一:Hadoop环境搭建RHadoop实践系列文章，包含了R语言与Hadoop结合进行海量数据分析。Hadoop主要用来存储海量数据，R语言完成MapReduce 算法，用来替代Java的MapReduce实现。有了RHadoop可以让广大的R语言爱好者，有更强大的工具处理大... 阅读全文
posted @ 2015-05-26 15:55 数据手艺人 阅读(473) 评论(0) 推荐(0)
Hadoop生态系统如何选择搭建
摘要：Apache Hadoop项目的目前版本（2.0版）含有以下模块：Hadoop通用模块：支持其他Hadoop模块的通用工具集。Hadoop分布式文件系统（HDFS）：支持对应用数据高吞吐量访问的分布式文件系统。Hadoop YARN：用于作业调度和集群资源管理的框架。Hadoop MapReduce... 阅读全文
posted @ 2015-05-26 15:26 数据手艺人 阅读(937) 评论(0) 推荐(0)
【hadoop】——修改hadoop FileUtil.java，解决权限检查的问题
摘要：在Hadoop Eclipse开发环境搭建这篇文章中，第15.）中提到权限相关的异常，如下：15/01/30 10:08:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform..... 阅读全文
posted @ 2015-05-25 17:30 数据手艺人 阅读(618) 评论(0) 推荐(0)
【hadoop】——window下elicpse连接hadoop集群基础超详细版
摘要：1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本：jdk-6u31-linux-i586.bin Linux系统：CentOS6.0 Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介 Java版本：jdk-6u31-windows-... 阅读全文
posted @ 2015-05-25 15:27 数据手艺人 阅读(477) 评论(0) 推荐(0)
【hadoop】——MapReduce解压缩实现
摘要：转载请注明出处：http://www.cnblogs.com/zhengrunjian/p/4527269.html1作为输入当压缩文件做为mapreduce的输入时，mapreduce将自动通过扩展名找到相应的codec对其解压。如果我们压缩的文件有相应压缩格式的扩展名（比如lzo，gz，bzip... 阅读全文
posted @ 2015-05-25 10:32 数据手艺人 阅读(2570) 评论(0) 推荐(0)
【hadoop】——HDFS解压缩实现
摘要：转载请注明出处：http://www.cnblogs.com/zhengrunjian/p/4527220.html所有源码在github上，https://github.com/lastsweetop/styhadoop1简介codec其实就是coder和decoder两个单词的词头组成的缩略词。... 阅读全文
posted @ 2015-05-25 10:14 数据手艺人 阅读(1003) 评论(0) 推荐(0)
【hadoop】——压缩工具比较
摘要：文件压缩主要有两个好处，一是减少了存储文件所占空间，另一个就是为数据传输提速。在hadoop大数据的背景下，这两点尤为重要，那么我现在就先来了解下hadoop中的文件压缩。hadoop里支持很多种压缩格式，我们看一个表格：DEFLATE是同时使用了LZ77算法与哈夫曼编码（Huffman Cod... 阅读全文
posted @ 2015-05-25 09:58 数据手艺人 阅读(2559) 评论(0) 推荐(0)