摘要： canal介绍 主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。 这里我们可以简单地把canal理解为一个用来同步增量数据的一个工具。 canal能做什么 数据库镜像 数据库实时备份 索引构建和实时维护 业务cache(缓存)刷新 带业务逻辑的增量数据处理 首先开启mysql 阅读全文

摘要： 官网下载地址 https://kafka.apache.org/downloads 1、上传解压 tar -zxvf kafka_2.11-1.0.0.tgz -C ../ mv kafka_2.11-1.0.0 kafka-1.0.0 2、修改环境变量 配置环境变量 vim /etc/profil 阅读全文

摘要： 官网地址 https://github.com/DTStack/chunjun 下载解压即可使用 hbase2hive案例 配置文件 { "job": { "content": [ { "reader": { "table" : { "tableName": "students" }, "name" 阅读全文

摘要： 配置文件 { "job": { "setting": { "speed": { "channel":3 }, "errorLimit": { "record": 0, "percentage": 0.02 } }, "content": [ { "reader": { "name": "mysqlr 阅读全文

摘要： 1、上传解压 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/soft/ 2、修改配置文件 切换到sqoop配置文件目录 cd /usr/local/soft/sqoop-1.4.7/conf 复制配置文件并重命名 cp sq 阅读全文

摘要： 1、datax简介 概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高 阅读全文

摘要： 1、RowKey的唯一原则 必须在设计上保证其唯一性，rowkey是按照字典顺序排序存储的，因此，设计rowkey的时候，要充分利用这个排序的特点，将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。 2、rowkey长度原则 rowkey是一个二进制码流，可以是任意字符串，最大长度 64 阅读全文

摘要： 1、关闭hbase集群，在master中执行 stop-hbase.sh 2、上传解压配改名 tar -zxvf phoenix-hbase-2.2-5.1.3-bin.tar.gz -C /usr/local/soft/ mv phoenix-hbase-2.2-5.1.3-bin phoenix 阅读全文

摘要： 概念 HBase 的基本 API，包括增、删、改、查等。 增、删都是相对简单的操作，与传统的 RDBMS 相比，这里的查询操作略显苍白，只能根据特性的行键进行查询（Get）或者根据行键的范围来查询（Scan）。 HBase 不仅提供了这些简单的查询，而且提供了更加高级的过滤器（Filter）来查询。 阅读全文

摘要： ```plaintext /* Hbase api中基础我们要做的任务： 1、如何创建一张表 2、如何删除一张表 3、如何向hbase表中插入一列数据 4、如何向hbase表中插入一批数据 5、如何获取一列数据 6、如何获取批量列数据 7、如何创建预分region表 */ import org.ap 阅读全文