摘要:本文介绍了在window端编写一个MapReduce程序访问Hadoop集群,并且实现wordcount功能 阅读全文
posted @ 2019-12-03 13:05 数据科学实践者 阅读 (14) 评论 (0) 编辑
摘要:原因: yarn.nodemanager.local-dirs和hadoop的hadoop.tmp.dir参数对应文件位置不一致 解决办法: 将hdfs-site.xml中hadoop.tmp.dir属性和yarn-site.xml中的yarn.nodemanager.local-dirs属性设置为 阅读全文
posted @ 2019-12-02 17:11 数据科学实践者 阅读 (53) 评论 (0) 编辑
摘要:问题出现原因: 因为远程提交hadoop的任务的情况下如果,没有hadoop 的系统环境变量,就会读取当前主机的用户名,所以Hadoop集群的节点中没有该用户名的权限,所以出现的异常。 解决方法: System.setProperty(“HADOOP_USER_NAME”,“hadoop2.7”); 阅读全文
posted @ 2019-12-02 15:41 数据科学实践者 阅读 (144) 评论 (0) 编辑
摘要:1创建工程 点击project——Maven——next 2通过maven导入项目依赖jar包 (1)设置maven自动导入依赖jar包 勾选 Import Maven projects automatically,点击apply (2)配置pom.xml文件 pom.xml配置文件如下: <?xm 阅读全文
posted @ 2019-11-26 14:25 数据科学实践者 阅读 (29) 评论 (0) 编辑
摘要:本文详细介绍额腾讯云搭建hadoop3集群 阅读全文
posted @ 2019-11-22 16:13 数据科学实践者 阅读 (81) 评论 (0) 编辑