11 2016 档案
摘要:hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,核心是可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合
阅读全文
摘要:Apache Pig是用来处理大规模数据的高级查询语言,配合Hadoop使用,可以在处理海量数据时达到事半功倍的效果,比使用Java,C++等语言编写大规模数据处理程序的难度要小N倍,实现同样的效果的代码量也小N倍。 一、安装 pig下载地址:http://pig.apache.org/ 解压安装包
阅读全文
摘要:为什么要用这个插件了?有什么好处了? 因为我们待分析的文件需要从客户端通过rpc传到NameNode,所以在linux中,是找不到这个文件的,相当于是做了个隔离,所以用个插件就很方便的上传这些文件了,还可以查看目录结构,文件内容。分析后结果也是很方便的查看的到。 操作步骤: 1、下载eclipse
阅读全文
摘要:ubuntu16.04下安装eclipse 解压后打开发现没有菜单栏,通过一下办法可以解决: 1.新建一个eclipse.sh文件,加入如下内容,下面的路径是ecipse的路径 2.在终端进入eclipse.sh目录,然后 sh eclipse.sh 此时如果配置正确的话,就会打开eclipse,菜
阅读全文
摘要:Hadoop精华文章收藏 1、Hadoop介绍 2、从零自学Hadoop系列索引 3、细细品味Hadoop系列文章 4、Hadoop集群系列(目录)
阅读全文
浙公网安备 33010602011771号