01 2019 档案

Hadoop datanode无法启动
摘要：原因是多次 hadoop namenode -format 导致 datanode 的version 里的Cluster-Id 不一致 这个Cluster-Id的位置在: 自己设置的数据临时文件/dfs/name（如果是datanode就是data）/name/current里的VERSION文件 阅读全文
posted @ 2019-01-27 11:55 wmxl 阅读(3767) 评论(0) 推荐(0)
Ansible 安装jdk
摘要：1. 在hosts文件添一个group，里面是你需要安装jdk的ip，如： [newhosts]192.168.2.155 ansible_ssh_user=hadoop ansible_ssh_pass=hadoop ansible_sudo_pass=hadoop192.168.2.159 an 阅读全文
posted @ 2019-01-26 17:10 wmxl 阅读(655) 评论(0) 推荐(0)
java 安装后 不能 java javac 说找不到命令 -bash: javac: command not found
摘要：java 安装后 不能 java javac 说找不到命令 -bash: javac: command not found 不是环境变量的问题， 直接cd到java的目录 也不能执行命令 后来发现是因为java是32位的，linux系统是64位的，就会发生此问题 解决办法是安装一个库：sudo yu 阅读全文
posted @ 2019-01-26 11:55 wmxl 阅读(11299) 评论(0) 推荐(0)
如何去掉MapReduce输出的默认分隔符
摘要：我们在用MapReduce做数据处理的时候，经常会遇到将只需要输出键或者值的情况，如context.write(new Text(record), new Text("")),这样得到结果每行尾部会自动加上一个制表符。尽管我们的值是空的，但是MapReduce默认输出的是键值对，且键值对之间默认的分 阅读全文
posted @ 2019-01-20 11:45 wmxl 阅读(1142) 评论(0) 推荐(0)
Hadoop 中的 ArrayWritable
摘要：虽然ArrayWritable不是接口，但貌似必须要子类去extends ArrayWritable，不能直接用ArrayWriable 否则会报下面的错误？（不是很确定） java.lang.Exception: java.lang.RuntimeException: java.lang.NoSu 阅读全文
posted @ 2019-01-08 20:24 wmxl 阅读(1599) 评论(1) 推荐(0)
[转] 查看HDFS文件系统数据的三种方法
摘要：1、使用插件——Hadoop-Eclipse-Plugin此方法需要借助Eclipse，插件的安装及使用请参考博文使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS。借助Eclipse只能进行简单的HDFS操作，如查看，删除，上传，下载。以下是操作界 阅读全文
posted @ 2019-01-03 17:07 wmxl 阅读(5688) 评论(0) 推荐(0)