随笔分类 -  Hadoop

windows上IDEA连接Hadoop出现的错误
摘要：我在虚拟机上搭建Hadoop-2.7.1，使用本地Windows上IDEA连接操作，windows上并未安装hadoop。 遇到的几个连接的问题： 1. 提交时报告winutils.exe缺失，并且有java.lang.NullPointerException 下载winutils.exe (htt 阅读全文
posted @ 2020-02-29 20:38 Fantasyllu 阅读(528) 评论(0) 推荐(0)
HDFS写入数据
摘要：HDFS副本摆放策略 不同的版本副本摆放策略可能并不一致，HDFS主要采用一种机架感知（rack-ware）的机制来实现摆放策略。 由于不同的机架上节点间通信要通过交换机（switches），同一机架上的通信带宽要优于不同机架。 HDFS默认采用3副本策略（参考2.9.1 & 3.2.1）： 1.若 阅读全文
posted @ 2020-02-27 17:41 Fantasyllu 阅读(607) 评论(0) 推荐(0)
Hadoop启动HDFS时DataNode未启动
摘要：在用$HADOOP_HOME/sbin/start-dfs.sh启动HDFS时发现只有NameNode和SecondaryNameNode启动,没有DataNode。 查看logs下的DataNode日志中显示如下错误： WARN org.apache.hadoop.hdfs.server.data 阅读全文
posted @ 2020-02-24 15:39 Fantasyllu 阅读(673) 评论(0) 推荐(0)