随笔分类 -  hadoop

centos6.5搭建hadoop单节点
摘要：1.添加用户 groupadd hadoop useradd -d /home/hadoop -m hadoop -g hadoop passwd hadoop 修改密码 付给用户sudo权限 vi /etc/sudoers 在root ALL=(ALL) ALL下面添加 hadoop ALL=(A 阅读全文
posted @ 2017-08-05 16:48 不自然地坚持 阅读(174) 评论(0) 推荐(0)
idea中使用maven运行wordcount代码
摘要：1.创建maven项目 pom文件： 2.编写wordcound 3.在src下面创建NativeIO 创建package：org.apache.hadoop.io.nativeio 创建类：NativeIO 4.确保hadoop运行正常，将文件上传到hdfs上 hadoop fs -mkdir - 阅读全文
posted @ 2017-07-24 23:50 不自然地坚持 阅读(2238) 评论(0) 推荐(0)
解决：Server IPC version 9 cannot communicate with client version 4
摘要：使用idea的maven项目运行mapreduce程序Server IPC version 9 cannot communicate with client version 4 原因： Java初始化hdfs client时出现的，原因是maven依赖的版本和hdfs的版本不一致 maven仓库中的 阅读全文
posted @ 2017-07-24 13:07 不自然地坚持 阅读(1338) 评论(0) 推荐(0)
解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
摘要：在项目中添加src中添加NativeIO类 阅读全文
posted @ 2017-07-23 23:11 不自然地坚持 阅读(2618) 评论(0) 推荐(0)
hadoop解决windows下：Failed to set permissions of path: \tmp\ \.staging to 0700
摘要：17/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-Hadoop library for your platform... using builtin-Java classes where applicable17/ 阅读全文
posted @ 2017-07-23 23:01 不自然地坚持 阅读(1486) 评论(1) 推荐(0)