摘要：今天删除hdfs上的文件夹，结果报错 原因是namenode处于安全模式，首先尝试强制退出安全模式 hadoop dfsadmin -safemode leave 终端显示 Safe mode is OFF，奇怪的是还是显示namenode is in safe mode. 此时输入hdfs dfs 阅读全文

摘要：idea中运行spark项目出现：org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 网上的方法很多，最后试成功的只有修改源码的方法 1.在源码中找到错误的方法access 2.注释掉源码retur 阅读全文

摘要：启动kafka时出现错误 问题就发生在logs文件 ERROR Shutdown broker because all log dirs failed：意思大概是所有的log文件不能用，这样的情况可能是权限问题 那么进入logs查看 当前我们的用户是hadoop，而log文件都是root用户所属，因 阅读全文

摘要：运行了一个Scala程序发现报错 发现自己一直没有配置本地hadoop的环境 1.编辑系统环境变量添加HADOOP_HOME（hadoop压缩包的解压路径） 2.接着在Path添加一行 3.配置好之后再测试 4.在 IDEA 中配置 Run Configuration，添加 HADOOP_HOME 阅读全文

摘要：1.HDFS的产生背景 数据量的增多，需要有一种系统管理多台机器的文件，于是产生DFS(Distributed File System) 2.HDFS简介 Hadoop项目的核心之一，用于数据存储，HDFS基于GFS开源实现。 3.HDFS优点 ·处理超大文件--MB到TB级（相对应的它不适用于存储 阅读全文