数据科学实践者

摘要： 本文介绍了在window端编写一个MapReduce程序访问Hadoop集群，并且实现wordcount功能 阅读全文

摘要： 原因： yarn.nodemanager.local-dirs和hadoop的hadoop.tmp.dir参数对应文件位置不一致 解决办法： 将hdfs-site.xml中hadoop.tmp.dir属性和yarn-site.xml中的yarn.nodemanager.local-dirs属性设置为 阅读全文

摘要： 问题出现原因： 因为远程提交hadoop的任务的情况下如果，没有hadoop 的系统环境变量，就会读取当前主机的用户名，所以Hadoop集群的节点中没有该用户名的权限，所以出现的异常。 解决方法： System.setProperty(“HADOOP_USER_NAME”,“hadoop2.7”); 阅读全文

摘要： 1创建工程 点击project——Maven——next 2通过maven导入项目依赖jar包 （1）设置maven自动导入依赖jar包 勾选 Import Maven projects automatically,点击apply (2)配置pom.xml文件 pom.xml配置文件如下： <?xm 阅读全文

摘要： 本文详细介绍额腾讯云搭建hadoop3集群 阅读全文