07 2017 档案

CDH Namenode自动切换（active-standby）
摘要：1. 先切换到hdfs 用户，做免密码登录 ssh -keygen -t rsa touch /var/lib/hadoop-hdfs/.ssh/authorized_keys chmod 755 /var/lib/hadoop-hdfs/.ssh/authorized_keys 把两台hdfs 用 阅读全文

posted @ 2017-07-15 14:15 Gcam 阅读(1657) 评论(0) 推荐(0)

MapReduce 2 中一些基础数据类型
摘要：1. LongWritable, IntWritable, Text 均是 Hadoop 中实现的用于封装 Java 数据类型的类，这些类实现了WritableComparable接口，都能够被串行化从而便于在分布式环境中进行数据交换，以及进行大小比较。你可以将它们分别视为long,int,String 的替代品。2. Hadoop提供了如下内容的数据类型，这些数据类型都实现了WritableCo... 阅读全文

posted @ 2017-07-15 13:50 Gcam 阅读(498) 评论(0) 推荐(0)

mapreduce出现类似死锁情况
摘要：1. mapreduce.job.reduce.slowstart.completedmaps: 在往hbase表里通过bulkload导数据时，某个mapreduce跑了一个多小时还没跑，看yarn界面，发现map还有一小部分没跑完，没跑完的map全在pending，running中没有，同时re 阅读全文

posted @ 2017-07-15 13:28 Gcam 阅读(405) 评论(0) 推荐(0)

HDFS
摘要：一、HDFS基础知识 1. namenode 负责: 管理着文件系统命名空间 <!--WizRtf2Html Charset=134 --> – <!--WizRtf2Html Charset=134 -->维护着文件系统树及树中的所有文件和目录 管理着文件系统命名空间 存储元数据 <!--WizR 阅读全文

posted @ 2017-07-13 23:04 Gcam 阅读(190) 评论(0) 推荐(0)

No route to host
摘要：1.在管理Hadoop 集群时， 有时会遇见：No route to host 问题 解决办法：尝试关闭机器防火墙 阅读全文

posted @ 2017-07-13 22:49 Gcam 阅读(726) 评论(0) 推荐(0)

Hadoop内存分配
摘要：9. Determine HDP Memory Configuration Settings Two methods can be used to determine YARN and MapReduce memory configuration settings: Use the HDP Util 阅读全文

posted @ 2017-07-13 22:38 Gcam 阅读(720) 评论(0) 推荐(0)

dfs.datanode.max.transfer.threads
摘要：An HDFS DataNode has an upper bound on the number of files that it will serve at any one time: <property> <name>dfs.datanode.max.transfer.threads</nam 阅读全文

posted @ 2017-07-13 22:11 Gcam 阅读(974) 评论(0) 推荐(0)

点击右上角即可分享
微信分享提示