随笔分类 -  Hadoop

摘要：已经记不清是第几次部署集群了，但是可能是因为也有一段时间不部署最新的了，然后确实最基本的不够熟练，各节点情况不太熟悉。卡了几下子，记录在案，望不再犯此类问题。 先是修改/etc/hosts,加chattr+i防恶意篡改，修改/etc/rc.d/rc.local，防重启后主机名改变。然后就是hadoop用户建公钥，ssh-key。。。 添加到.ssh中，然后修改权限600、700，往其他节点上拷贝，竟然使用的root权限，拷贝过去公钥在hadoop用户时无法读取，未能成功无密访问。。。。 这个做了两次，才发现问题，太搞了。 接下来就是启动集群，启动的时候一看是没有问题的，但是网页看不了，dat. 阅读全文

摘要：问题：Exception in thread "main" java.lang.RuntimeException: no gather information in this split分析：直观上看可能是java版本的问题，从导入后数据头文件的大小可以很明显的看出是导入后的数据错误，用之前的数据替换也证明了这一点。可以排除源数据错误的可能性，应该是导入过程中出现问题，但是导入操作是没有问题的，可能是导入工具的依赖库出现了问题问题：java lang.Throwable:Child Error at org.apache.hadoop.mapred.TaskRunner.r 阅读全文

摘要：1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。/etc/security/limits.confvi /etc/security/limits.conf加上：* soft nofile 102400* hard nofile 409600$cd /etc/pam.d/$sudo vi login添加sessionrequired/li 阅读全文

摘要：Hadoop添加节点的方法自己实际添加节点过程：1. 先在slave上配置好环境，包括ssh，jdk，相关config，lib，bin等的拷贝；2. 将新的datanode的host加到集群namenode及其他datanode中去；3. 将新的datanode的ip加到master的conf/slaves中；4. 重启cluster,在cluster中看到新的datanode节点；5. 运行bin/start-balancer.sh，这个会很耗时间备注：1. 如果不balance，那么cluster会把新的数据都存放在新的node上，这样会降低mr的工作效率；2. 也可调用bin/start 阅读全文

摘要：Disk_Throughput_Test.shHadoop_copyFromLocal_Test.sh#!/bin/bashIOtest="/data1/testdata/IOtest"host="/data1/perf_share/$(hostname)_$(date -d "today"+"%Y%m%d_%H%M%S")_$i"#删除表格rm -f /data1/perf_share/*.xls#删除.dat文件rm -f /data1/perf_share/*.dat#执行三次循环以取得平均值for((i=1 阅读全文

摘要：FS Shell调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/chil 阅读全文

摘要：1 修改主机名修改/etc/hosts文件，按下面的格式添加：Id主机名2创建/home/hadoop目录在所有节点上创建/home/hadoop目录:mkdir -p /home/hadoop1修改主机名<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" /> 3创建用户和密码在所有节点上创建用户并设置密码：useradd -d /home/hadoop/XXX -s /bin/bashXXX –mpasswd XXX4XXX用户ssh免密码登陆XXX用户生成.ss 阅读全文