随笔分类 -  hadoop

摘要：在使用windows调用Hadoop yarn平台的时候，一般都会遇到如下的错误： 这个错误在Hadoop mapreduce bug的信息页面（https://issues.apache.org/jira/browse/MAPREDUCE-5655）已经解决了，且影响的版本是Hadoop2.2、H 阅读全文

摘要：在hadoop中处理复杂业务时，需要用到复合键，复合不同于单纯的继承Writable接口，而是继承了 WritableComparable<T>接口，而实际上，WritableComparable<T>接口继承了 Writable和Comparable<T>接口，如果只需要使用某一个类作为传值对象而 阅读全文

摘要：向生成好的hdfs文件中追加内容，但是线上使用的版本是1.0.3，查看官方文档发现，在1.0.4版本以后才支持文件append 以下是向hdfs中追加信息的操作方法 如果你只在某一个driver中追加内容信息，不必要对于整个HDFS都开启内容追加： 在某个方法中，追加文件信息： 使用以上方法，便可以 阅读全文

摘要：Hadoop提供了较为丰富的数据输入输出格式，可以满足很多的设计实现，但是在某些时候需要自定义输入输出格式。 数据的输入格式用于描述MapReduce作业的数据输入规范，MapReduce框架依靠 数据输入格式完后输入规范检查（比如输入文件目录的检查），对数据文件进行输入分块（InputSpilt） 阅读全文

摘要：现实环境中，常常遇到一个问题就是想使用多个Reduce，但是迫于setup和cleanup在每一个Reduce中会调用一次，只能设置一个Reduce，无法是实现负载均衡。 问题，如果要在reduce中输出两种文件，一种是标志，另一种是正常业务数据，实现方案有三种： （1）设置一个reduce，在re 阅读全文

摘要：} 参考文献：http://blog.csdn.net/waldmer/article/details/13503867 阅读全文

摘要：Hadoop思想之源：Google 面对的数据和计算难题 ——大量的网页怎么存储 ——搜索算法 带给我们的关键技术和思想 ——GFS ——Map-Reduce ——Bigtable Hadoop创始人介绍： Hadoop作者Doug cutting，就职Yaho... 阅读全文