2013年7月2日
hadoop权威指南实例源代码网址
摘要： https://github.com/tomwhite/hadoop-book/blob/2e/ 阅读全文
posted @ 2013-07-02 09:43 曹守鑫 阅读(552) 评论(0) 推荐(0)
hadoop基本操作命令
摘要： 在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh进入HADOOP_HOME目录。执行sh bin/stop-all.sh关闭Hadoop文件操作Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。查看文件列表查看hdfs中/user/admin/aaron目录下的文件。进入HADOOP_HOME目录。执行sh bin/hadoop fs -l 阅读全文
posted @ 2013-07-02 09:41 曹守鑫 阅读(256) 评论(0) 推荐(0)
Hadoop集群搭建
摘要： Hadoop集群配置（最全面总结）huangguisu 通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK ，ssh，HadoopJavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。ssh必须安装并且保证 阅读全文
posted @ 2013-07-02 09:40 曹守鑫 阅读(296) 评论(0) 推荐(0)
JobStracker与TaskStracker的区别联系
摘要： JobTracker和TaskTrackerJobTracker 对应于 NameNodeTaskTracker 对应于 DataNodeDataNode 和NameNode 是针对数据存放来而言的JobTracker和TaskTracker是对于MapReduce执行而言的mapreduce中几个主要概念，mapreduce整体上可以分为这么几条执行线索：jobclient，JobTracker与TaskTracker。1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker创建每 阅读全文
posted @ 2013-07-02 09:36 曹守鑫 阅读(427) 评论(0) 推荐(0)