idea本地连接访问hadoop集群的方法

先去集群中hive hadoop的配置目录中把以下4个site.xml文件下载下来

• core-site.xml
• hdfs-site.xml
• hive-site.xml
• yarn-site.xml

然后把这四个文件复制到idea项目的resource目录下即可，注意使用一下maven的clean命令，确保编译后文件仍然存在

文件的具体位置CDH 与Apach不一样。

cdh:cd /etc/alternatives/hadoop-conf
apache:cd $HADOOP_HOME/etc/hadoop/

也可以顺便把spark目录下的conf/log4j.properties复制到resource中，在log4j.properties中修改设置spark本地模式下的日志输出级别