10 2018 档案

使用maxwell实时同步mysql数据到kafka
摘要：一、软件环境：操作系统：CentOS release 6.5 (Final)java版本: jdk1.8zookeeper版本: zookeeper-3.4.11kafka 版本: kafka_2.11-1.1.0.tgzmaxwell版本：maxwell-1.16.0.tar.gz注意 ： 关闭所有机器的防火墙，同时注意启动可以相互telnet ip 端口二、环境部署1、安装jdkexport ... 阅读全文
posted @ 2018-10-19 17:58 ChavinKing 阅读(3679) 评论(0) 推荐(2) 编辑
hive高级数据类型
摘要：hive的高级数据类型主要包括：数组类型、map类型、结构体类型、集合类型，以下将分别详细介绍。1）数组类型array_type：array-- 建表语句create table test.array_table(name string,age int,addr array)row format delimited fields terminated by ',' collectio... 阅读全文
posted @ 2018-10-11 12:16 ChavinKing 阅读(1199) 评论(0) 推荐(0) 编辑
基于hortonworks的大数据集群环境部署流水
摘要：一、ambari及HDP安装文件下载地址：1、系统操作系统：CentOS72、软件本次安装采用最新版本：ambari-2.7.0.0hdp-3.0.0.0详细信息及下载地址如下：Ambari 2.7.0 RepositoriesBase URL ：http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0Repo ... 阅读全文
posted @ 2018-10-04 21:44 ChavinKing 阅读(899) 评论(0) 推荐(0) 编辑