摘要：
检查logs目录下的hadoop-root-jobtracker日志文件 2014-02-26 19:56:06,782 FATAL org.apache.hadoop.mapred.JobTracker: java.lang.IllegalArgumentException: Does not contain a valid host :port authority: local at org... 阅读全文
posted @ 2014-03-11 17:19
向着梦想奋斗
阅读(910)
评论(0)
推荐(0)
摘要：
1、创建Hadoop项目 2、创建包、类 这里使用hdfs.WordCount为例 3、编写自定Mapper和Reducer程序 MyMapper类 static class MyMapper extends Mapper { @Override protected void map(LongWritable k1, Text v1, Context context) thr... 阅读全文
posted @ 2014-03-11 16:17
向着梦想奋斗
阅读(536)
评论(0)
推荐(0)
摘要：
下载 https://skydrive.live.com/redir.aspx?cid=cf7746837803bc50&resid=CF7746837803BC50!1277&parid=CF7746837803BC50!1274&authkey=!ACiM_IinIoEmTz8 有事打不开，可以到hadoop官网下载 将插件复制到eclipse安装目录的dropins下，重启eclipse。 ... 阅读全文
posted @ 2014-03-11 14:42
向着梦想奋斗
阅读(282)
评论(0)
推荐(0)
摘要：
集群概念 计算机集群是一种计算机系统，通过一组松散继承的计算机软件或硬件连接连接起来高度紧密地协作完成计算工作。 集群系统中的单个计算机通常称为节点，通过局域网连接。 集群特点： 1、效率高，通过多态计算机完成同一个工作。 2、高容错，两台或多台机内容、工作过程等完全一样，宕机一台其他机器继续工作。 Hadoop集群部署 搭建步骤 1、跟伪分布模式环境相同 更改主机名 设置Hosts 关闭防火墙 ... 阅读全文
posted @ 2014-03-11 12:47
向着梦想奋斗
阅读(363)
评论(0)
推荐(0)
摘要：
MapReduce概念 MapReduce是一种分布式计算模型，由谷歌提出，主要用于搜索领域，解决海量数据计算问题。 MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数实现分布式计算。 这两个函数的形参是key，value对，表示函数的输入信息。 MP执行流程 客户端提交给jobtracker，jobtracker分配给tasktracker。 trask... 阅读全文
posted @ 2014-03-11 12:44
向着梦想奋斗
阅读(818)
评论(0)
推荐(0)
摘要：
HDFS的API操作 URL方式访问 package hdfs; import java.io.IOException; import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandler... 阅读全文
posted @ 2014-03-11 12:36
向着梦想奋斗
阅读(798)
评论(0)
推荐(0)
摘要：
HDFS的shell 调用文件系统（FS）shell命令使用hadoop fs的形式 所有的FS shell命令使用URI路径作为参数。 URI格式是scheme://authority/path。HDFS的scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。 例如：/par... 阅读全文
posted @ 2014-03-11 12:33
向着梦想奋斗
阅读(807)
评论(0)
推荐(0)
摘要：
本文转载自向着梦想奋斗博客 Hadoop是什么？ 适合大数据的分布式存储于计算平台 不适用小规模数据 作者：Doug Cutting 受Google三篇论文的启发 Hadoop核心项目 HDFS（Hadoop Distrubuted File System） 分布式文件系统 MapReduce 并行计算框架 版本 Apache 官方版本 Cloudera 使用下载最多的版本，稳定，有商业支持，在A... 阅读全文
posted @ 2014-03-11 12:22
向着梦想奋斗
阅读(331)
评论(0)
推荐(0)
浙公网安备 33010602011771号