随笔分类 -  Hadoop

mysql通过sqoop导入到hbase中时数据量为1000w时出现Incorrect key file for table '/tmp/#sql_458_0.MYI'; try to repair it
摘要：问题：mysql通过sqoop导入到hbase中时数据量为1000w时出现Incorrect key file for table '/tmp/#sql_458_0.MYI'; try to repair it，数据量为100w等时没该问题分析：出现该问题时因为mysql的临时目录（默认为/tmp）... 阅读全文

posted @ 2015-12-02 15:34 小米辣 阅读(223) 评论(0) 推荐(0)

“Incompatible clusterIDs”错误原因分析
摘要：“Incompatible clusterIDs”错误原因分析启动hadoop后，从节点的没有启动（jps后），无datanode，查看日志，发现java.io.IOException: Incompatible clusterIDs in /data/hadoop/hadoop-2.5.2/dat... 阅读全文

posted @ 2015-12-01 10:40 小米辣 阅读(686) 评论(0) 推荐(0)

hadoop wordcount运行出错:解决方法
摘要：hadoop wordcount运行出错解决方法第一次运行wordcount没有成功运行记录：15/11/18 14:54:14 INFO client.RMProxy: Connecting to ResourceManager at master/125.216.231.188:803215/1... 阅读全文

posted @ 2015-11-18 15:32 小米辣 阅读(2770) 评论(0) 推荐(0)

hadoop：如何运行自带wordcount
摘要：hadoop：如何运行自带wordcount转载自：http://www.aboutyun.com/thread-7713-1-1.html1.找到examples例子我们需要找打这个例子的位置：首先需要找到你的hadoop文件夹，然后依照下面路径：/hadoop/share/hadoop/mapr... 阅读全文

posted @ 2015-11-18 10:22 小米辣 阅读(11389) 评论(0) 推荐(0)

hadoop集群中ssh登录失败
摘要：hadoop集群中ssh登录失败参考自：http://blog.csdn.net/xw13106209/article/details/6855294错误描述当我想ssh slave节点时，出现如下错误（之前系统重装之前已经设置了ssh无密码登录，所以在~/.ssh的known_hosts文件中已经... 阅读全文

posted @ 2015-11-17 13:29 小米辣 阅读(1558) 评论(0) 推荐(0)

导航