随笔分类 - hadoop
摘要：来自：http://blog.csdn.net/macyang/article/details/7880671所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），...
阅读全文
posted @ 2014-07-07 16:17
悟寰轩-叶秋
摘要：1 ############################################ 2 # producer config 3 ############################################ 4 #agent section 5 producer.s...
阅读全文
摘要：来自：http://stackoverflow.com/questions/11130145/hadoop-multipleinputs-fails-with-classcastexceptionFollowing up on my comment, the Javadocs forTaggedIn...
阅读全文
摘要：http://www.cnblogs.com/hustcat/archive/2010/06/30/1768506.html1、safemodebin/hadoopfs-put./inputinputput:org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannotcreatedirectory/user/root/input.Namenodeisinsafemode.解决方法：NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.p
阅读全文
posted @ 2014-03-26 16:29
悟寰轩-叶秋
摘要：1 public class TopK extends Configured implements Tool { 2 3 public static class TopKMapper extends Mapper { 4 5 public static final int K = 100; 6 private TreeMap tm = new TreeMap(); 7 8 @Override 9 protected void map(Object key, Text value, Context context) ...
阅读全文
posted @ 2014-03-26 09:50
悟寰轩-叶秋
摘要：1 public class GroupComparator implements RawComparator { 2 3 @Override 4 public int compare(MyBinaryKey o1, MyBinaryKey o2) { 5 return o1.toString().compareTo(o2.toString()); 6 } 7 8 @Override 9 public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) {10 return Writabl...
阅读全文
posted @ 2014-03-26 09:43
悟寰轩-叶秋
摘要：http://www.srccodes.com/p/article/38/build-install-configure-run-apache-hadoop-2.2.0-microsoft-windows-os
阅读全文
posted @ 2013-11-22 12:54
悟寰轩-叶秋
摘要：http://wenku.baidu.com/view/5eb3b4a6f90f76c661371abe.html或http://blog.csdn.net/chengweipeng123/article/details/7174717
阅读全文
posted @ 2013-10-30 14:51
悟寰轩-叶秋
摘要：http://my.oschina.net/u/617085/blog/71740"Failed to set permissions of path"问题 参考文献：https://issues.apache.org/jira/browse/HADOOP-8089 错误信息如下： ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:java.io.IOException Failed to set permissions of path:\usr\hadoop\tm
阅读全文
posted @ 2013-08-01 14:37
悟寰轩-叶秋
摘要：hadoop配置多个输入路径，某个路径配置为空时，运算时会把路径默认为用户目录下即： user/用户名/null
阅读全文
摘要：使用hadoop的时候要注意，本地的文件上传到hadoop之前，看一下本地文件的编码（要使用GBK）编码，否则在做reduce处理时，文本的第一行处理可能会有问题
阅读全文
摘要：1.start-all.sh开启线程hadoop fs -ls hdfs://cloud4:9000/user (cloud4表示主机名9000代表端口号/就代表根目录/user就是user文件夹)hadoop fs -ls /user（hdfs://cloud4:9000可省略）2. -ls/-l...
阅读全文
posted @ 2013-05-14 15:34
悟寰轩-叶秋
摘要：转自：http://www.blogjava.net/paulwong/archive/2012/10/03/388977.html如果是在WINDOWS的ECLIPSE中，运行HBASE的MAPREDUCE，会出现异常，这是由于默认运行MAPREDUCE任务是在本地运行，而由于会建立文件赋权限是按照UNIX的方式进行，因此会报错：java.lang.RuntimeException: Errorwhilerunning command to get file permissions : java.io.IOException: Cannot run program"ls"
阅读全文
摘要：1.从HDFS上传下载文件到第一种错误：Java代码<spanstyle="font-size:medium;">Exceptioninthread"main"java.lang.IllegalArgumentException:WrongFS:hdfs://192.168.1.11:9000/usr/yujing/wordcount,expected:hdfs://master:9000</span>这个很多人都遇到过，不管是在ubuntu还是windows系统中，在连接集群的时候，不能直接使用hdfs://192.168.1.
阅读全文
摘要：1.org.apache.hadoop.security.AccessControlException: Permission denied: user=FDC2, access=EXECUTE, inode="job_201010161322_0003":heipark:supergroup:rwx------ 解决方法:在hdfs-site.xml中添加如下： <property> <name>dfs.permissions</name> <value>false</value> </property&g
阅读全文
摘要：前言：提交Hadoop作业时我们遇到了许多的问题，在网上也查过许多的文章，有许多对hadoop提交作业原理进行分析的文章，却总看不到对具体操作过程讲解的文章，导致我们在eclipse提交的作业总是在eclipse虚拟的云环境中运行。慢慢摸索中，一个一个的作业提交方法被我们发现，呵呵，现在总结一下吧。相关阅读：单机版搭建Hadoop环境图文教程详解http://www.linuxidc.com/Linux/2012-02/53927.htm方案：1、用命令行方式提交2、在eclipse中提交作业3、采用eclipse的插件实现项目的提交方案一：用命令行方式提交前提：成功搭建一个Hadoop集群，
阅读全文
浙公网安备 33010602011771号