上一页 1 ··· 5 6 7 8 9 10 11 12 下一页
摘要: 刚才利用hadoop和mahout运行kmean是算法,一开始利用了10个节点,一个master,9个slave,运行了7分钟,我为了看速度的变化,就改用伪分布的形式,但是一开始运行就报错了: 意思就是针对文件块block,没有可用的节点,我一开始以为是节点没=没有启动,但是后来看了一下webUI, 阅读全文
posted @ 2017-04-08 12:04 小小范同学 阅读(681) 评论(0) 推荐(0) 编辑
摘要: 今天将mahout包传到集群中,集群中的jdk是1.6,运行时报错,原因是版本太低,因为我的mahout是用jdk1.8编译的;所以总结来看就是如果jdk版本使用不当,就会报这个错误; 阅读全文
posted @ 2017-04-08 10:17 小小范同学 阅读(165) 评论(0) 推荐(0) 编辑
摘要: 前一段时间配置hadoop集群环境,发现一个现象,教程中的命令形式是ssh hostname,当然这个hostname应该是在ssh发起者的hosts文件中和相应的IP对应;现在问题来了: 我用的是mac,用户名是fanjiajia,其他三台节点都是centos,用户是slave1,slave2,s 阅读全文
posted @ 2017-04-08 09:47 小小范同学 阅读(188) 评论(0) 推荐(0) 编辑
摘要: 【转载】 之前课堂上老师讲过关于数据库的索引相关的东西,在我之前的概念中,索引能够加快查询速度,这一点谁都知道,但是为什么???,以及会带来一下什么样的后果,今天在园子中看可一篇这方面的文章,讲的很好,我就粘贴过来,原文地址http://www.cnblogs.com/aspwebchh/p/665 阅读全文
posted @ 2017-04-04 19:38 小小范同学 阅读(301) 评论(0) 推荐(0) 编辑
摘要: 刚才启动hadoop,然后执行rm -r命令,出现这个问题,标记为红色的部分意思是namenode是安全节点, [master@hadoop file]$ hadoop fs -rm -r /input/* 17/04/01 09:41:03 INFO fs.TrashPolicyDefault: 阅读全文
posted @ 2017-04-01 11:40 小小范同学 阅读(367) 评论(0) 推荐(0) 编辑
摘要: 前天遇到一个hadoop问题,由于之前都是伪分布的情况,没有真正的涉及到集群的环境,最近按照一些资料自己搭建了一个集群环境,三台虚拟机,一个master,两个slave,利用jps查看节点信息,启动了所有的节点,包括数据节点datanode,但是在Web UI中查看活节点,显示为0,我执行hadoo 阅读全文
posted @ 2017-04-01 11:13 小小范同学 阅读(3532) 评论(1) 推荐(1) 编辑
摘要: 昨天配置了虚拟机的ssh,可以相互连接,但是今天早上就不行了,遇到如下错误 解决方法:#ssh-keygen -R IP(这个IP就是你要去连接的IP) 阅读全文
posted @ 2017-03-30 10:42 小小范同学 阅读(310) 评论(0) 推荐(0) 编辑
摘要: MapReduce 应用举例:单词计数 WorldCount可以说是MapReduce中的helloworld了,下面来看看hadoop中的例子worldcount对其进行的处理过程,也能对mapreduce的执行过程有一个清晰的认识,特别是对于每一个阶段的函数执行所产生的键值对 单词 计数主要完成 阅读全文
posted @ 2017-03-27 19:11 小小范同学 阅读(4137) 评论(0) 推荐(1) 编辑
摘要: 对于mapreduce这一并行计算模型,一直以来都不是很清楚其具体的执行细节,今天看了学院一位老师的实验指导书,对这一过程有了一个初步的理解,特别是map阶段和reduce阶段,所以做了一份笔记,现在上传留存; 1 MapReduce 处理过程 在 Hadoop 中,每个 MapReduce 任务都 阅读全文
posted @ 2017-03-27 15:52 小小范同学 阅读(1429) 评论(0) 推荐(0) 编辑
摘要: 一直以来,Eclipse查看源代码都十分的方便,比方说我们按住ctrl,然后鼠标点击某一个类便会跳转到相应类的定义当中,但是这里面必须涉及到的一个东西是你必须在之前就将自己的这个类的源代码关联上去才行;如果事先没有做这个工作,将会导致source not find这个鬼东西;所以下面来看看如何关联源 阅读全文
posted @ 2017-03-27 15:19 小小范同学 阅读(357) 评论(0) 推荐(0) 编辑
上一页 1 ··· 5 6 7 8 9 10 11 12 下一页