2022年10月7日
Kettle学习
摘要： Kettle的安装及简单使用 一、kettle概述 1、什么是kettle Kettle是一款开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 2、Kettle工程存储方式 （1）以XML形式存储 （2）以资源库方式存储(数据库资源库 阅读全文
posted @ 2022-10-07 14:41 小明同学slm 阅读(326) 评论(0) 推荐(0)
FinkX学习
摘要： FlinkX的安装与简单使用 FlinkX概述 FlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线和实时的数据同步框架，实现了多种异构数据源之间高效的数据迁移。 不同的数据源头被抽象成不同的Reader插件，不同的数据目标被抽象成不同的Writer插件。理论上，FlinkX框架可以支持 阅读全文
posted @ 2022-10-07 14:39 小明同学slm 阅读(83) 评论(0) 推荐(0)
DataX学习
摘要： DataX的安装及使用 Hive通过外部表与HBase表关联 hive建表语句： // 第一个字段通常命名为keyCREATE EXTERNAL TABLE hivehbasetable( key INT ,name STRING ,age INT ,gender STRING ,clazz STR 阅读全文
posted @ 2022-10-07 14:36 小明同学slm 阅读(231) 评论(0) 推荐(0)
sqoop学习
摘要： SQOOP安装及使用 SQOOP安装 1、上传并解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/soft/ 2、修改文件夹名字 mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ 阅读全文
posted @ 2022-10-07 14:34 小明同学slm 阅读(126) 评论(0) 推荐(0)
Flume学习
摘要： 分布式日志采集系统Flume学习 一、Flume架构 1.1 Hadoop业务开发流程 1.2 Flume概述 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据; 同时，Flume提供对数据进行简单处理，并写到各种数据接受方( 阅读全文
posted @ 2022-10-07 14:31 小明同学slm 阅读(664) 评论(0) 推荐(0)
2022年9月21日
Hbase学习
摘要： HBase学习（一） 一、了解HBase 官方文档：https://hbase.apache.org/book.html 1.1 HBase概述 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，用于存储海量的结构化或者半结构化，非结构化的数据（底层是字节数组做存储的） HBase 阅读全文
posted @ 2022-09-21 09:12 小明同学slm 阅读(229) 评论(0) 推荐(0)
2022年9月18日
Hbase基础总结
摘要： HBase基础总结： 1、什么是hbase: 是面向列，高可靠，高性能，可伸缩的分布式存储数据库 2、什么是列式存储：hbase可以看作一个大的HashMap，存取格式是由key-value的形式。四维定位到一个单元格 rowkey,列簇，列名，时间戳 >列值 cell单元格（逻辑上的概念） 3、h 阅读全文
posted @ 2022-09-18 20:18 小明同学slm 阅读(69) 评论(0) 推荐(0)
Phoenix搭建
摘要： Phoenix Hbase适合存储大量的对关系运算要求低的NOSQL数据，受Hbase 设计上的限制不能直接使用原生的API执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀，一些团队寻求在Hbase之上提供一种更面向普通开发人员的操作方式，Apache Phoenix即是。 Pho 阅读全文
posted @ 2022-09-18 19:35 小明同学slm 阅读(153) 评论(0) 推荐(0)
2022年9月14日
hbase搭建
摘要： 四、HBase1.4.6安装搭建 4.1 hbase下载 官网下载地址：https://www.apache.org/dyn/closer.lua/hbase/1.4.6/hbase-1.4.6-bin.tar.gz 4.2 前期准备（Hadoop,zookeeper,jdk） 启动hadoop s 阅读全文
posted @ 2022-09-14 15:51 小明同学slm 阅读(69) 评论(0) 推荐(0)
2022年9月7日
Hive重要知识点及面试题
摘要： 知识点： Hive是数据仓库建模工具之一。 传统的关系数据库具有结构化程度高、独立性强、冗余度低，主要是操作型数据库和分析型数据库。 其中操作型数据库：主要用于业务支撑。一个公司往往会使用并维护若干个操作型数据库，这些数据库保存着公司的日常操作数据，比如商品购买、酒店预订、学生成绩录入等。 分析型数 阅读全文
posted @ 2022-09-07 19:30 小明同学slm 阅读(301) 评论(0) 推荐(0)
下一页