12 2017 档案
摘要:Hive创建内外部表 Hive 数据库类似传统数据库,也是有数据库与表的概念,hive和关系数据库存储文件的系统不同,hive使用的是hadoop的HDFS(hadoop的分布式文件系统),关系数据库则是服务器本地的文件系统。Hive作用比如是为海量数据做数据仓库分析与挖掘之用等以及原理,可查看相关
阅读全文
摘要:Hive 作为基于Hadoop的一个数据仓库工具,可将sql语句转换为MapReduce任务进行运行。 通过类SQL语句快速实现简单的MapReduce统计,不用开发专门的MapReduce应用 适合数据仓库的统计分析。基本上Hadoop应用时,都有Hive的影子,下面说下基本Hadoop如何安装配
阅读全文
摘要:Hadoop 配置与运行 wordcount示例,也是个MapReduce示例 前面Hadoop安装分两部份,一是虚机的安装与配置, 二是Hadoop集群安装与配置 这里我们运行下hadoop 自带示例wordcount,当然在做这个示例前提是Hadoop已配置好,且已启动运行 Wordcount(
阅读全文
摘要:安装Hadoop前置,当前是要准备好基础运行环境,这里我们准备了三台虚机,详见上篇博文 一、 准备上传工具 要安装hadoop相关软件 ,需要将对应的安装包上传到这些虚机服务器(vm centos)上 安装上传下载工具包rz及sz,查看下当前机子上是否有安装包 输入yum provides */rz
阅读全文

浙公网安备 33010602011771号