随笔分类 - Hadoop
摘要：检查方法 切换到hdfs用户 su - hdfs hdfs fsck / 副本数量是3但只找到两个 尝试修复丢失的副本 命令说明：hdfs debug recoverLease -path 文件位置 -retries 重试次数 hdfs debug recoverLease -path /hbase
阅读全文
摘要：CDH参数调优 HDFS参数 fs.trash.interval 垃圾桶功能（需要重启HDFS） 如果为零，垃圾桶功能将被禁用 设置7天后垃圾回收站中的文件会被系统永久删除 如果需要直接删除，不放进回收站需要使用下面命令删除 hadoop fs -rm -r -skipTrash /test fs.
阅读全文
摘要：重新安装cloudera-manager接管已有集群 由于数据库数据丢失导致CDH集群无法使用，这时hadoop等集群可能在正常运行 但无法通过cloudera-manager来进行管理，需要重新安装cloudera-manager来接管之前的集群并恢复数据。 解决办法： 关闭service 和 a
阅读全文
摘要：（1）hdfs dfsadmin -safemode get （功能描述：查看安全模式状态） （2）hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态） （3）hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态） （4）hd
阅读全文
摘要：切片机制 FileInputFormat中默认的切片机制 切片的大小=块的大小=128M（如果程序运行在本地则是32M） 切片的标准是看文件大的小是达到块大小的1.1倍（140.8M），如果达到则按128M进行切片，如果没达到，则其本身就是一个切片。切完第一片剩下的数据在进行比较，如果达到块大小的1
阅读全文
摘要：CentOS6安装与配置 环境准备 1.设置主机名 查看主机名 hostname 修改主机名 vim /etc/hosts IP地址 主机名 vi /etc/sysconfig/network HOSTNAME= 主机名 注意：hosts与network下的主机名称要保持一致 2.配置IP 主机名映
阅读全文
摘要：CentOS7环境下配置Hadoop(CentOS6与7命令不同) 1.设置主机名 hostnamectl set-hostname 主机名 (永久生效) 2.配置IP 主机名映射 vi /etc/hosts 192.168.56.133 node1 192.168.56.133 node2 192
阅读全文
摘要：1.自定义一个实体类用于接收属性数据。 实现Writable, DBWritable接口，实现四个抽象方法 例： public class DataFilter implements Writable, DBWritable { private String day = null; private
阅读全文
摘要：MapReduce工作流程 MapReduce工作流程 Map阶段： 1.首先由客户端把数据进行切片处理，然后提交切片信息给ResourceManager。 2.ResourceManager找到一个NodeManager，由NodeManager创建分析出Maptask数量 3.每个输入分片由一个
阅读全文
摘要：Read阶段： 首先读取文件，然后对文件进行切片，大小为默认128M，并交给MapTask解析出一个个 K/V键值对 Map阶段： 将解析出来的键值对交给用户编写的业务逻辑执行，处理这些数据，并调用 context.write() Collert收集阶段： context.write处理数据，调用P
阅读全文
摘要：报错信息： java.lang.RuntimeException: Mismatched address stored in ZK for NameNode at /172.23.6.96:9000: Stored protobuf was nameserviceId: "mycluster" na
阅读全文
浙公网安备 33010602011771号