2017年2月24日
java使用FileSystem上传文件到hadoop文件系统
摘要： import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoo... 阅读全文
posted @ 2017-02-24 11:42 南湖公明 阅读(12477) 评论(4) 推荐(3)
HDFS客户端的权限错误：Permission denied
摘要： 搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。 （如果想看最终解决问题的方法拉到最后，如果想看我的问 阅读全文
posted @ 2017-02-24 11:40 南湖公明 阅读(1807) 评论(0) 推荐(0)
使用JAVA API获取hadoop集群的FileSystem
摘要： 所需要配置的参数： Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://hadoop2cluster"); conf.set("dfs.nameservices", "hadoop2cluster"); 阅读全文
posted @ 2017-02-24 11:20 南湖公明 阅读(608) 评论(0) 推荐(0)