摘要：
在Hadoop Eclipse开发环境搭建这篇文章中，第15.）中提到权限相关的异常，如下：15/01/30 10:08:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform..... 阅读全文
posted @ 2015-05-25 17:30
数据手艺人
阅读(616)
评论(0)
推荐(0)
摘要：
1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本：jdk-6u31-linux-i586.bin Linux系统：CentOS6.0 Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介 Java版本：jdk-6u31-windows-... 阅读全文
posted @ 2015-05-25 15:27
数据手艺人
阅读(472)
评论(0)
推荐(0)
摘要：
转载请注明出处：http://www.cnblogs.com/zhengrunjian/p/4527269.html1作为输入当压缩文件做为mapreduce的输入时，mapreduce将自动通过扩展名找到相应的codec对其解压。如果我们压缩的文件有相应压缩格式的扩展名（比如lzo，gz，bzip... 阅读全文
posted @ 2015-05-25 10:32
数据手艺人
阅读(2569)
评论(0)
推荐(0)
摘要：
转载请注明出处：http://www.cnblogs.com/zhengrunjian/p/4527220.html所有源码在github上，https://github.com/lastsweetop/styhadoop1简介codec其实就是coder和decoder两个单词的词头组成的缩略词。... 阅读全文
posted @ 2015-05-25 10:14
数据手艺人
阅读(996)
评论(0)
推荐(0)
摘要：
文件压缩主要有两个好处，一是减少了存储文件所占空间，另一个就是为数据传输提速。在hadoop大数据的背景下，这两点尤为重要，那么我现在就先来了解下hadoop中的文件压缩。hadoop里支持很多种压缩格式，我们看一个表格：DEFLATE是同时使用了LZ77算法与哈夫曼编码（Huffman Cod... 阅读全文
posted @ 2015-05-25 09:58
数据手艺人
阅读(2551)
评论(0)
推荐(0)
浙公网安备 33010602011771号