随笔分类 -  Hadoop

摘要:Hadoop原来是Apache Lucene下的一个子项目,它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。下面列举hadoop主要的一些特点:扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速。可靠性(Re 阅读全文
posted @ 2012-02-02 10:15 javawebsoa 阅读(326) 评论(0) 推荐(0)
摘要:在这篇文章中,我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动HADOOP1.进入HADOOP_HOME目录。2.执行sh bin/start-all.sh关闭HADOOP1.进入HADOOP_HOME目录。2.执行sh bin/stop-all.sh文件操作Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。查看文件列表查看hdfs中/user/admin/aaron目录下的文件。1.进入HADOOP_HOME目录。2.执行sh bin/ 阅读全文
posted @ 2012-02-02 09:53 javawebsoa 阅读(221) 评论(0) 推荐(0)