摘要：话说做文件系统也半年多了，没啥总结、没啥积累，遇到问题还是临时看代码。写这个系列的目的有二：1 对文件系统形成系统化的认识。2 督促自己好好抓住业余时间好好学习。3 本地文件系统之后就是分布式系统（hadoop+分布式计算），这是后话。。。注：以Linux文件系统作为基点，“深为目，情为本”。 :-)废话少说，开始了。。。一 VFS为了支持种类繁多的不同种文件系统，Linux提出了VFS虚拟文件系统的概念。虚拟文件系统说的直接点就是Linux为了屏蔽各种文件系统的差异性提供的一套抽象的通用数据结构和相应的操作函数，所谓实现依赖于抽象嘛（俺的理解），其他不同种类的文件系统只需要实现VFS提供的操 阅读全文

摘要：转自：http://www.cnblogs.com/lhb25/archive/2012/08/10/2622860.html互联网经过这么多年的发展，已经出现了众多的 Web 开发技术，像 .Net/Java/PHP/Python/Ruby 等等。对于 Web 开发人员来说，不管是初学者还是有一定经验的开发人员都需要时刻学习新的开发技术。如今，网上有各种开发技术的相关网站，有大量开发资料可以参考。下面是 我收集的15个非常优秀的学习 Web 开发技术的国外网站，如果大家有收藏更好的网站，欢迎推荐！Net Tuts+是学习Web开发技术最著名的网站之一，订阅者超过10万，分享各种适合不同阶段的 阅读全文

摘要：如果大家在安装的时候遇到问题，或者按步骤安装完后却不能运行Hadoop，那么建议仔细查看日志信息，Hadoop 记录了详尽的日志信息，日志文件保存在logs 文件夹内。无论是启动，还是以后会经常用到的MapReduce 中的每一个job，以及HDFS 等相关信息，Hadoop 均存有日志文件以供分析。例如：NameNode 和DataNode 的namespaceID 不一致，这个错误是很多人在安装时会遇到的，日志信息为：java .io.IOException: Incompatible namespaceIDs in /root/tmp/dfs/data: NameNodenamespac 阅读全文

摘要：为了方便阐述，这里只搭建一个有三台主机的小集群。相信读者还没有忘记Hadoop 对主机的三种定位方式， 分别为master 和slave，JobTracker 和TaskTracker，NameNode 和DataNode。为了方便，在分配IP 地址时顺便规定一下角色。下面是为这三台机器分配的IP 地址及相应的角色：10.37.128.2-master,NamoNode,jobtracker-master（主机名）10.37.128.3-slave,DataNode,tasktracker-slave1（主机名）10.37.128.4-slave,DataNode,tasktracker-sl 阅读全文

摘要：安装和配置Hadoop 集群1 网络拓扑通常来说，一个Hadoop 的集群体系结构由两层网络拓扑组成，如图2-1 所示。结合实际的应用来看，每个机架中会有30 ～ 40 台机器，这些机器共享一个1GB 带宽的网络交换机。在所有的机架之上还有一个核心交换机或路由器，通常来说其网络交换能力为1GB 或更高。可以很明显地看出，同一个机架中机器节点之间的带宽资源肯定要比不同机架中机器节点间丰富。这也是Hadoop 随后设计数据读写分发策略要考虑的一个重要因素。2 定义集群拓扑在实际应用中，为了使Hadoop 集群获得更高的性能，读者需要配置集群使Hadoop 能够感知其所在的网络拓扑结构。当然如果集群 阅读全文

摘要：Hadoop 分别从三个角度将主机划分为两种角色。第一，划分为master 和slave，即主人与奴隶；第二，从HDFS 的角度，将主机划分为NameNode 和DataNode（在分布式文件系统中，目录的管理很重要，管理目录的就相当于主人，而NameNode 就是目录管理者）；第三，从MapReduce 的角度，将主机划分为JobTracker 和TaskTracker（一个job 经常被划分为多个task，从这个角度不难理解它们之间的关系）。Hadoop 有官方发行版与cloudera 版，其中cloudera 版是Hadoop 的商用版本，这里先介绍Hadoop 官方发行版的安装方法。H 阅读全文