随笔分类 -  Hadoop

摘要:1.永久更改eth0的ip 2.配置ip的话同步更改默认网管和子网掩码 3.主机名不能带下划线(java.lang.IllegalArgumentException: Does not contain a valid host :port authority) 吐血了,配置文件也要一个一个改动 学一 阅读全文
posted @ 2016-11-22 17:13 加拿大小哥哥
摘要:主节点间歇性报错其他没有问题 ,SNN的NN没有问题,相关的journalNode也都在,就是主节点的NN会停止。 查看hadoop主节点的NN日志。 首先保证设置dfs.namenode.edits.dir和dfs.journalnode.edits.dir,然后设置在hdfs-site.xml中 阅读全文
posted @ 2016-11-22 09:14 加拿大小哥哥
摘要:路径是/etc/profile。 这个东西不能再普通下设置,打开是彩色的,即便是“:wq!”也不能保存,必须去root下,黑白的。 然后root下source /etc/profile,然后exit,source /etc/profile,这样在普通用户下就生效了。 阅读全文
posted @ 2016-11-16 21:56 加拿大小哥哥
摘要:我在MapReduceInput下创建CFItemSet文件夹,下面有itemSet.txt。 我想上传到cf下,然后想着hdfs上会显示cf/itemSet.txt。 但是发现hdfs上只有cf文件,注意并不是文件夹,好奇怪,只能先删除(否则提示cf已存在)再重新上川。 然后进入到MapReduc 阅读全文
posted @ 2016-11-16 12:19 加拿大小哥哥
摘要:16-11-14 21:23:41,540 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: starting log segment 4234 failed for required journal (JournalAnd 阅读全文
posted @ 2016-11-14 22:13 加拿大小哥哥
摘要:Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,Hadoop历史服务器是没有启动的,我们可以通过下面的命令来启动Hadoop历史服务器 $ sbi 阅读全文
posted @ 2016-11-14 21:03 加拿大小哥哥
摘要:hdfs dfs -rm -r /hxsyl 阅读全文
posted @ 2016-11-14 16:25 加拿大小哥哥
摘要:刚开始以为这样是错误的,后来发现这样是对的,不设置的MAHOUT_LOCAL的话在hadoop运行,否则单机运行。 值得注意的是修改/etc/profile的时候必须在root下,在hxsyl下几遍wq!也不行,在root下source以后,mahout提示类似上面的信息(用户不一样),然后切换到h 阅读全文
posted @ 2016-11-08 17:44 加拿大小哥哥
摘要:配置了MAVEN_HOME,新建了java文件,在d:/java/MAVEN_HOME/apach....,path下输出%MAVEN_HOME%bin,为什么cmd下mvn不行呢?因为MAVEN_HOME最后多加了个分好,那么path下就是 d:/java/MAVEN_HOME/apache-ma 阅读全文
posted @ 2016-11-08 16:37 加拿大小哥哥
摘要:这是由于hadoop.dll 版本问题,2.4之前的和自后的需要的不一样 需要选择正确的版本并且在 Hadoop/bin和 C:\windows\system32 上将其替换 阅读全文
posted @ 2016-11-08 02:38 加拿大小哥哥
摘要:有些datanode没有启动,要么是id不一致,我删除了还是不行,要么是权限问题,我邮件属性查看权限,发现不是hxsyl组,我删除,重建。 阅读全文
posted @ 2016-11-07 17:50 加拿大小哥哥
摘要:查看状态 有时候通过网页访问两个namenode的http-address,看到默认的主namenode状态变成了standy,这时可以通过下面命令来实现主namenode的状态切换成active。 或者 注意:此处“nn2 nn1”的顺序表示active状态由nn2转换到nn1上、 注意,如果你配 阅读全文
posted @ 2016-11-07 16:35 加拿大小哥哥
摘要:终端看着没问题,然后进入hadoop的logs文件夹下找打yarn-hxsyl-resoucemanager.log,发现里面报错了,是因为fairscheduler需要放在etc/hadoop下,我把它放在了etc下,尴尬。 阅读全文
posted @ 2016-11-03 17:39 加拿大小哥哥
摘要:HADOOP_PID_DIR 本想在环境变量里设置,在相关文件里直接尹用,但是我想起来那时候的JAVA_HOME都不行,还是一个一个设置吧。 有时候,我们对运行几天或者几个月的hadoop或者hbase集群做停止操作,会发现,停止命令不管用了,因为基于java开发的程序,想要停止程序,必须通过进程p 阅读全文
posted @ 2016-11-03 16:50 加拿大小哥哥
摘要:原来在logs下 该权限,还是不行,以root登陆可以了,但是其他节点是普通用户啊,还会出其他问题,仔细看是/tmp,就是linux根目录下的tmp,改他的权限吧,不知道重启会不会变化。 阅读全文
posted @ 2016-11-03 15:41 加拿大小哥哥
摘要:http://blog.csdn.net/sagaryu/article/details/52137989 我的是2.6.4,用上面链接提供的编译好的资源覆盖原来的就好了。 不管也没事。 就是因为系统位数问题。 阅读全文
posted @ 2016-11-01 20:29 加拿大小哥哥
摘要:Hadoop安装完后,启动时报Error: JAVA_HOME is not set and could not be found. 解决办法: 修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。 应当使用绝对路径。 export JAVA_HOME=$JAVA_HOME 阅读全文
posted @ 2016-11-01 20:28 加拿大小哥哥
摘要:ElasticSearch-Head ElasticSearch-Head 是一个与Elastic集群(Cluster)相交互的Web前台。 ES-Head的主要作用 它展现ES集群的拓扑结构,并且可以通过它来进行索引(Index)和节点(Node)级别的操作 它提供一组针对集群的查询API,并将结 阅读全文
posted @ 2016-10-26 15:57 加拿大小哥哥
摘要:主节点CentOS_Master 从节点Slave_1。 我想着可能是 /etc/ssh/sshd_config下的那个公钥文件路径不对,看了下home/hxsyl/.ssh/authorized_keys,可能前面少个/,然后加行了,还不行,主节点用root登陆Slave_1是可以的,但是普通用户 阅读全文
posted @ 2016-07-06 10:52 加拿大小哥哥