PigeonNoir

摘要： 关键网址：http://idea.lanyus.com/ 步骤： 1. 在http://idea.lanyus.com/上下载：JetbrainsCrack-2.9-release-enc.jar 。 注意版本 2. 将 JetbrainsCrack-2.9-release-enc.jar 拷贝至 阅读全文

摘要： 本篇分两部分，第一部分分析使用 java 提交 mapreduce 任务时对 mapper 数量的控制，第二部分分析使用 streaming 形式提交 mapreduce 任务时对 mapper 数量的控制。 环境：hadoop-3.0.2 前言： 熟悉 hadoop mapreduce 的人可能已 阅读全文

摘要： 环境：hadoop-3.0.2 + 11 机集群 + RS-6-3-1024K 的EC策略 状况：某天，往 HDFS 上日常 put 业务数据时，发现传输速率严重下降 分析： 检查集群发现，在之前的传输中，发生过个别 datanode 临时不可用的状况。 而由于 hadoop EC 机制，当失效 d 阅读全文

摘要： 解决：在 yarn-env.sh 中，指定 YARN_CONF_DIR 为 hadoop 目录的 /etc/hadoop 在yarn-env.sh 中，配置： 阅读全文

摘要： 原因：yarn-site.xml 中，yarn.application.classpath 未配置 解决：其中 hadoop 版本对应更改 阅读全文

摘要： 原因：yarn-site.xml 中，有关mapreduce日志查看的aggregation未配置启用 解决：在yarn-site.xml 中加入以下配置 阅读全文

摘要： mapreduce maven-assembly-plugin FileSystem 阅读全文

摘要： 一、需求背景 基于业务需求，需要修改hadoop源码，将局部源代码修改后，放在自己的工程目录下，由于其相同的路径，想要覆盖掉源码对应部分 二、环境背景 IDEA下，编辑MapReduce任务，打包提交给服务器运行 三、目标 改动部分覆盖掉源码对应部分，生效 四、状况 Hadoop默认自己原生的源码优 阅读全文

摘要： 一、准备 二、修改相关hbase代码 三、使用maven编译hbase-2.0.0 2. 编译成功后， 在hbase-2.0.0/hbase-assembly/target目录下有目标tar包：hbase-2.0.0-bin.tar.gz 阅读全文

摘要： 报错： 无明显报错 状况： 所有namenode都是standby，即ZK服务未生效 尝试一：手动强制转化某个namenode为active 操作：在某台namenode上，执行 hdfs haadmin -transitionToActive --forcemanual nn1 (nn1是你的某台 阅读全文