11 2018 档案

spark读取mongodb数据写入hive表中
摘要：一 环境： 二.数据情况： 三.Eclipse+Maven+Java 3.1 依赖： 3.2 代码： 工具类： 四 错误解决办法： 下载cdh集群Hive的hive-site.xml文件，在项目中新建resources文件夹，讲hive-site.xml配置文件放入其中： 五 执行情况： 耗时14m 阅读全文
posted @ 2018-11-27 16:39 gongxiucheng 阅读(3371) 评论(0) 推荐(0)
datax源代码编译安装
摘要：what is DataX ？ DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台。 实现包括MySQL，SQL Server，Oracle，PostgreSQL，HDFS，Hive，HBase，OTS，ODPS等各种异构数据源之间高效的数据同步功能。 1.从Github下载源码，地址：h 阅读全文
posted @ 2018-11-20 15:03 gongxiucheng 阅读(2960) 评论(0) 推荐(0)
tidb测试环境安装，离线部署
摘要：1.环境以及规划 机器:centos7.5 ; 文件系统为ext4；内存16g；cpu8核，共三个节点； 2 .本地下载tidb-ansible-master.zip，上传到中控机，然后重命名为tidb-ansible; 3.安装ansible： cd tidb-ansible 6.编辑invert 阅读全文
posted @ 2018-11-01 18:20 gongxiucheng 阅读(1781) 评论(0) 推荐(0)