摘要：
引言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数... 阅读全文
posted @ 2015-03-04 15:16
tinylcy
阅读(256)
评论(0)
推荐(0)
摘要：
转载自董的博客1、 概述传统的MapReduce框架（见博文：传统MapReduce框架）把一个作业的执行过程分为两个阶段：map和reduce，在map阶段，每个map task读取一个block，并调用map()函数进行处理，然后将结果写到本地磁盘（注意，不是HDFS）上；在reduce阶段，每... 阅读全文
posted @ 2015-03-03 19:16
tinylcy
阅读(931)
评论(0)
推荐(0)
摘要：
DataNode无法启动：问题原因：执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的namenode的版本。如果我们频繁的格式化namenode，那么... 阅读全文
posted @ 2015-02-28 22:28
tinylcy
阅读(1377)
评论(0)
推荐(0)
摘要：
遇到的问题如下：错误原因是HDFS还没有把这个input文件夹加入。敲入命令并查看HDFS：问题解决。 阅读全文
posted @ 2015-02-28 16:26
tinylcy
阅读(3392)
评论(0)
推荐(0)
摘要：
Hadoop 伪分布式环境时运行wordcount程序，之前已经运行过一次，再次将input文件夹中的内容上传至HDFS时会出现重复，但是还是可以上传成功。但是当再次运行wordcount程序时就会报错：可以看到导致错误的原因时HDFS中的output文件夹已经存在了，所以必须要删除。（因为outo... 阅读全文
posted @ 2015-02-28 15:43
tinylcy
阅读(2448)
评论(0)
推荐(1)
摘要：
确定比赛名次Time Limit: 2000/1000 MS (Java/Others)Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 13403Accepted Submission(s): 5361Problem Des... 阅读全文
posted @ 2015-01-23 15:53
tinylcy
阅读(160)
评论(0)
推荐(0)
摘要：
Legal or NotTime Limit: 2000/1000 MS (Java/Others)Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 4685Accepted Submission(s): 2141题目描述：A... 阅读全文
posted @ 2015-01-23 15:08
tinylcy
阅读(132)
评论(0)
推荐(0)
摘要：
ConscriptionDescriptionWindy has a country, and he wants to build an army to protect his country. He has picked upNgirls andMboys and wants to collect... 阅读全文
posted @ 2015-01-23 11:47
tinylcy
阅读(183)
评论(0)
推荐(0)
摘要：
Constructing RoadsTime Limit: 2000/1000 MS (Java/Others)Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 14935Accepted Submission(s): 569... 阅读全文
posted @ 2015-01-23 10:44
tinylcy
阅读(132)
评论(0)
推荐(0)
摘要：
奇怪的连通图题目描述：已知一个无向带权图，求最小整数k。使仅使用权值小于等于k的边，节点1可以与节点n连通。输入：输入包含多组测试用例，每组测试用例的开头为一个整数n(1 #include using namespace std; struct Edge{ int start; int... 阅读全文
posted @ 2015-01-20 22:42
tinylcy
阅读(150)
评论(0)
推荐(0)
浙公网安备 33010602011771号