摘要：
阿里云开源离线同步工具DataX3.0 一. DataX3.0概览 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题， 阅读全文
posted @ 2022-06-21 00:29
a-tao必须奥利给
阅读(267)
评论(0)
推荐(0)
摘要：
一、HBase索引案例（使用redis存储索引） 在这里是简单模拟将索引存到redis中，再通过先查询索引再将Hbase中的数据查询出来。 需要考虑的问题： 1、建立redis的连接，建立Hbase的连接 2、如何创建索引，即创建索引的key和value的设计 3、如何通过将查到的索引，去查询到对应 阅读全文
posted @ 2022-06-19 21:16
a-tao必须奥利给
阅读(57)
评论(0)
推荐(0)
摘要：
一.HBase优化 2.1 行键的设计（重点） 实际上底层存储是按列族线性地存储单元格 列包括了HBase特有的列族和列限定符，从而组成列键。 磁盘上一个列族下所有的单元格 都存储在一个存储文件中，不同列族的单元格不会出现在同一个存储文件中。 每个单元格在实际存储时保存了行键和列键，所以每个单元格都 阅读全文
posted @ 2022-06-19 21:15
a-tao必须奥利给
阅读(159)
评论(0)
推荐(0)
摘要：
export-从hdfs中到出数据到MySQL中 HDFSToMySQL 编写脚本，并保存为HDFSToMySQL.conf 在往关系型数据库中导出的时候我们要先在关系型数据库中创建好库以及表，这些sqoop不会帮我们完成。 export --connect jdbc:mysql://master: 阅读全文
posted @ 2022-06-19 21:02
a-tao必须奥利给
阅读(231)
评论(0)
推荐(0)
摘要：
import-从MySQL中导入数据到hdfs中 从传统的关系型数据库导入HDFS、HIVE、HBASE...... MySQLToHDFS 编写脚本，保存为MySQLToHDFS.conf sqoop执行脚本有两种方式：第一种方式：直接在命令行窗口中直接输入脚本；第二种方式是将命令封装成一个脚本文 阅读全文
posted @ 2022-06-19 21:00
a-tao必须奥利给
阅读(129)
评论(0)
推荐(0)
摘要：
SQOOP简介： SQOOP安装 1、上传并解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/soft/ 2、修改文件夹名字 mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sq 阅读全文
posted @ 2022-06-19 20:57
a-tao必须奥利给
阅读(30)
评论(0)
推荐(0)
摘要：
案例六、多路复制 1、将flume复制到node1,node2 [root@master soft]# scp -r flume-1.9.0 node1:`pwd` [root@master soft]# scp -r flume-1.9.0 node2:`pwd` 2、在node1节点的/usr/ 阅读全文
posted @ 2022-06-18 08:34
a-tao必须奥利给
阅读(54)
评论(0)
推荐(0)
摘要：
1 、基础案例 案例一： 在使用之前，提供一个大致思想，使用Flume的过程是确定scource类型，channel类型和sink类型，编写conf文件并开启服务，在数据捕获端进行传入数据流入到目的地。 案例一、从控制台打入数据，在控制台显示 1、确定scource类型，channel类型和sink 阅读全文
posted @ 2022-06-18 08:28
a-tao必须奥利给
阅读(63)
评论(0)
推荐(0)
摘要：
一、Flume架构及安装 1.1 Hadoop业务开发流程 1.2 Flume概述 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据; 同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbas 阅读全文
posted @ 2022-06-16 19:43
a-tao必须奥利给
阅读(59)
评论(0)
推荐(0)
摘要：
hbase-day05 1、bulkLoad实现批量导入 优点： 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk Loading”方法，即HBase提供的HFileOutputFormat类。 它是利用hbase的数据信 阅读全文
posted @ 2022-06-15 16:18
a-tao必须奥利给
阅读(246)
评论(0)
推荐(0)
浙公网安备 33010602011771号