正文内容加载中...
posted @ 2018-01-29 18:16 kcen 阅读(379) 评论(0) 推荐(0) 编辑
摘要: Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Sqoop是为大数据集设计的。Sqoop支持增量更新,将新记 阅读全文
posted @ 2018-01-05 16:25 kcen 阅读(2062) 评论(0) 推荐(0) 编辑
摘要: Hive创建内外部表 Hive 数据库类似传统数据库,也是有数据库与表的概念,hive和关系数据库存储文件的系统不同,hive使用的是hadoop的HDFS(hadoop的分布式文件系统),关系数据库则是服务器本地的文件系统。Hive作用比如是为海量数据做数据仓库分析与挖掘之用等以及原理,可查看相关 阅读全文
posted @ 2017-12-27 10:57 kcen 阅读(4738) 评论(0) 推荐(0) 编辑
摘要: Hive 作为基于Hadoop的一个数据仓库工具,可将sql语句转换为MapReduce任务进行运行。 通过类SQL语句快速实现简单的MapReduce统计,不用开发专门的MapReduce应用 适合数据仓库的统计分析。基本上Hadoop应用时,都有Hive的影子,下面说下基本Hadoop如何安装配 阅读全文
posted @ 2017-12-26 11:16 kcen 阅读(716) 评论(0) 推荐(0) 编辑
摘要: Hadoop 配置与运行 wordcount示例,也是个MapReduce示例 前面Hadoop安装分两部份,一是虚机的安装与配置, 二是Hadoop集群安装与配置 这里我们运行下hadoop 自带示例wordcount,当然在做这个示例前提是Hadoop已配置好,且已启动运行 Wordcount( 阅读全文
posted @ 2017-12-04 15:07 kcen 阅读(920) 评论(0) 推荐(0) 编辑
摘要: 安装Hadoop前置,当前是要准备好基础运行环境,这里我们准备了三台虚机,详见上篇博文 一、 准备上传工具 要安装hadoop相关软件 ,需要将对应的安装包上传到这些虚机服务器(vm centos)上 安装上传下载工具包rz及sz,查看下当前机子上是否有安装包 输入yum provides */rz 阅读全文
posted @ 2017-12-01 11:10 kcen 阅读(231) 评论(0) 推荐(0) 编辑
摘要: 安装 虚拟机(CentOS) 配置服务器间免验证登录 作为搭建Hadoop 相关应用平台的基础工作,先要安装与配置linux服务器资源,因条件有限,这里以虚拟机替代实体机,下面为如何安装与配置虚拟机的相关实践 一、安装vmware workstation与虚机 1、 安装包,可从VM官网下载 htt 阅读全文
posted @ 2017-11-20 14:51 kcen 阅读(371) 评论(0) 推荐(0) 编辑
摘要: Dubbo、ZooKeeper、Moven project安装设置好后,我们就要应用Dubbo来实现服务的部署 Dubbo 服务分为服务提供端与消费端 1、下载dubbo.xsd文件,地址:http://download.csdn.net/detail/zp522123428/8036977 也可以 阅读全文
posted @ 2017-11-13 17:00 kcen 阅读(1794) 评论(0) 推荐(0) 编辑
摘要: 这里服务器我们用的是一台Centos,在dubbo配置工作前,需要做以下准备工作 主要是应用环境的软件与工具配置 一、安装JDK 原有系统自带的版本可能较旧,需要重新安装新版本 1、 查看原有版本 yum list installed |grep java 或java -version 2、 卸载O 阅读全文
posted @ 2017-11-10 10:29 kcen 阅读(11975) 评论(0) 推荐(0) 编辑
摘要: 前面我们已完成了Maven安装与配置、Jdk安装与配置 接下来在Eclipse中实际创建Maven类型Project 一、Eclipse中”File“--》”new“ --》”Other … “--》”Mave“--》”Maven Project “ Group ID:包名 Artifact Id 阅读全文
posted @ 2017-11-09 18:14 kcen 阅读(2140) 评论(0) 推荐(0) 编辑