摘要：1.回收站机制恢复 HDFS的回收站机制默认是关闭的，需要我们在配置文件core-site.xml中配置一些参数 2.快照机制恢复 HDFS快照是文件系统的只读时间点副本。可以在文件系统的子树或整个文件系统上创建快照。一个快照是一个全部文件系统、或者某个目录在某一时刻的镜像。 为目录/bigdata 阅读全文

摘要：Hadoop在NameNode之外的节点上运行了一个Secondary NameNode进程，它的任务是为原NameNode内存中的文件系统元数据产生检查点。是一个辅助NameNode处理fsimage和编辑日志的节点，它从NameNode中拷贝fsimage和编辑日志到零食目录合并成一个新的fsi 阅读全文

摘要：NameNode的文件结构包括VERSION、edits、fsimage、fstime文件目录 其中dfs.name.dir属性对应的目录列表中可查看到： 1.VERSION文件是JAVA属性文件，其中包含运行HDFS的版本信息。包含内容 namespaceID是文件系统的唯一标识符，当文件系统第一 阅读全文

摘要：1.往集群提交任务的时候，需要使用多线程在hdfs上面读取一个资源文件。在读取该资源文件的时候，代码爆出如下异常： java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClie 阅读全文

摘要：执行jar命令 export HADOOP_HEAPSIZE="4096"export HADOOP_CLIENT_OPTS="-Xmx5120m -XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=256m"hadoop jar ${jarPath} ${mai 阅读全文

摘要：检测缺失块 hdfs fsck -list-corruptfileblocks；hdfs fsck / ; 查看某一个文件的情况 hdfs fsck /路径/文件名 -locations -blocks -files 手动修复 hdfs debug recoverLease -path 文件位置 - 阅读全文

摘要：1、Hive支持创建表时指定orc格式即可： create table tmp.orc_test(id bigint, name string, age int) stored as orc TBLPROPERTIES('orc.compress'='SNAPPY') 压缩格式有"SNAPPY"和 阅读全文

摘要：在使用mapreduce将计算数据插入oracle库中报错： java.io.IOException: ORA-00911 ； 我引用的包是 org.apache.hadoop.mapreduce.lib.db;org.apache.hadoop hadoop-core; 结果跟发现在源码里org. 阅读全文

摘要：使用指定用户和指定权限建文件夹和文件 创建文件时报错： Caused by: org.apache.hadoop.ipc.RemoteException (org.apache.hadoop.security.AccessControlException): Permission denied: u 阅读全文

摘要：-mkdir 创建目录 hdfs dfs -mkdir [-p] < paths> -ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 hdfs dfs -ls [-R] < args> -put 将本地文件或目录上传到HDFS中的路径 hdfs dfs -put < localsrc 阅读全文

摘要：Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#7 at org.apache.hadoop.mapreduce.task.reduce.Shuffle. 阅读全文

摘要：解决办法： 建立LOG4J 的配置文件即可。 常用log4j配置，一般可以采用两种方式：.properties或者.xml的配置, 下面举两个简单的例子：一、log4j.properties### 设置org.zblog域对应的级别INFO,DEBUG,WARN,ERROR和输出地A1，A2 ##l 阅读全文

摘要：free -h 查看liunx内存使用情况 df -h 查看hadoop中空间占用命令 du -h -x --max-depth=1 查看当前路径下哪个目录占用过高 hadoop dfsadmin -report //检查hadoop的使用情况 hdfs修复 hadoop命令fsck命令 在HDFS 阅读全文