随笔分类 -  hadoop

分布式计算框架综述
摘要：最近在写本科的毕业论文，题目是有关于MapReduce的并行化处理，老师给出修改意见中提到了关于分布式计算框架的的国内外研究现状，一开始并没有搞懂分布式计算机框架，以为是MapReduce。MapReduce只是一种并行编程模式，也可以是一种并行框架，并不是分布式计算框架。百度得知，比如Hadoop 阅读全文
posted @ 2017-05-28 11:40 小小范同学 阅读(10895) 评论(0) 推荐(1)
No node available for block: blk
摘要：刚才利用hadoop和mahout运行kmean是算法，一开始利用了10个节点，一个master，9个slave，运行了7分钟，我为了看速度的变化，就改用伪分布的形式，但是一开始运行就报错了： 意思就是针对文件块block，没有可用的节点，我一开始以为是节点没=没有启动，但是后来看了一下webUI， 阅读全文
posted @ 2017-04-08 12:04 小小范同学 阅读(735) 评论(0) 推荐(0)
Name node is in safe mode.
摘要：刚才启动hadoop，然后执行rm -r命令，出现这个问题，标记为红色的部分意思是namenode是安全节点， [master@hadoop file]$ hadoop fs -rm -r /input/* 17/04/01 09:41:03 INFO fs.TrashPolicyDefault: 阅读全文
posted @ 2017-04-01 11:40 小小范同学 阅读(392) 评论(0) 推荐(0)
hadoop节点之间通信问题
摘要：前天遇到一个hadoop问题，由于之前都是伪分布的情况，没有真正的涉及到集群的环境，最近按照一些资料自己搭建了一个集群环境，三台虚拟机，一个master，两个slave，利用jps查看节点信息，启动了所有的节点，包括数据节点datanode，但是在Web UI中查看活节点，显示为0，我执行hadoo 阅读全文
posted @ 2017-04-01 11:13 小小范同学 阅读(3622) 评论(1) 推荐(1)
Hadoop世界中的HelloWorld之WordCount具体分析
摘要：MapReduce 应用举例:单词计数 WorldCount可以说是MapReduce中的helloworld了，下面来看看hadoop中的例子worldcount对其进行的处理过程，也能对mapreduce的执行过程有一个清晰的认识，特别是对于每一个阶段的函数执行所产生的键值对 单词 计数主要完成 阅读全文
posted @ 2017-03-27 19:11 小小范同学 阅读(4208) 评论(0) 推荐(1)
MapReduce 并行编程理论基础
摘要：对于mapreduce这一并行计算模型，一直以来都不是很清楚其具体的执行细节，今天看了学院一位老师的实验指导书，对这一过程有了一个初步的理解，特别是map阶段和reduce阶段，所以做了一份笔记，现在上传留存； 1 MapReduce 处理过程 在 Hadoop 中，每个 MapReduce 任务都 阅读全文
posted @ 2017-03-27 15:52 小小范同学 阅读(1464) 评论(0) 推荐(0)