摘要：
 Flink中提供了4种不同层次的API，每种API在简洁和易表达之间有自己的权衡，适用于不同的场景。目前 阅读全文
posted @ 2023-06-03 11:10
strongmore
阅读(231)
评论(0)
推荐(0)
摘要：
### Flink集群安装部署 Flink支持多种安装部署方式 - Standalone - ON YARN - Mesos、Kubernetes、AWS… 这些安装方式我们主要讲一下standalone和on yarn。 如果是一个独立环境的话，可能会用到standalone集群模式。 在生产环境 阅读全文
posted @ 2023-06-03 09:54
strongmore
阅读(490)
评论(0)
推荐(0)
摘要：
### 什么是Flink Apache Flink 是一个开源的分布式，高性能，高可用，准确的流处理框架。 分布式：表示flink程序可以运行在很多台机器上， 高性能：表示Flink处理性能比较高 高可用：表示flink支持程序的自动重启机制。 准确的：表示flink可以保证处理数据的准确性。 Fl 阅读全文
posted @ 2023-06-03 09:46
strongmore
阅读(502)
评论(0)
推荐(0)
摘要：
针对数据仓库中的任务脚本我们前面已经整理过了，任务脚本还是比较多的，针对初始化表的脚本只需要执行一次即可，其它的脚本需要每天都执行一次，这个时候就需要涉及到任务定时调度了。 ### Crontab调度器的使用 我们前面在学习Linux的时候学过一个crontab调度器，通过它可以实现定时执行指定的脚 阅读全文
posted @ 2023-06-03 09:35
strongmore
阅读(623)
评论(0)
推荐(0)
摘要：
### 前言 数据可视化这块不是项目的重点，不过为了让大家能有一个更加直观的感受，我们可以选择一些现成的数据可视化工具实现。 我们前面分析过，想要查询hive中的数据可以使用hue，不过hue无法自动生成图表。 所以我们可以考虑使用Zeppelin，Zeppelin是一个Apache的孵化项目.一个 阅读全文
posted @ 2023-06-03 08:53
strongmore
阅读(226)
评论(0)
推荐(0)
摘要：
### 什么是拉链表 针对订单表、订单商品表，流水表，这些表中的数据是比较多的，如果使用全量的方式，会造成大量的数据冗余，浪费磁盘空间。 所以这种表，一般使用增量的方式，每日采集新增的数据。 在这注意一点：针对订单表，如果单纯的按照订单产生时间增量采集数据，是有问题的，因为用户可能今天下单，明天才支 阅读全文
posted @ 2023-06-03 08:19
strongmore
阅读(557)
评论(0)
推荐(0)
摘要：
### ods 层 在 ods_mall 中需要创建以下针对商品订单数据的表 ```txt 表名 说明 导入方式 ods_user 用户信息表 全量 ods_user_extend 用户扩展表 全量 ods_user_addr 用户收货地址表 全量 ods_goods_info 商品信息表 全量 o 阅读全文
posted @ 2023-06-03 08:17
strongmore
阅读(248)
评论(0)
推荐(0)
摘要：
数据仓库分为 4层：ods层、dwd层、dws层、app层， 我们先来构建第一层：ods层 ### ods 层 在 ods_mall中需要创建以下针对用户行为数据的表 ```txt 表名 解释 ods_user_active 用户主动活跃表(act=1) ods_click_good 点击商品表(a 阅读全文
posted @ 2023-06-03 08:13
strongmore
阅读(461)
评论(0)
推荐(0)
摘要：
### Sqoop下载及安装 Sqoop目前有两大版本，Sqoop1和Sqoop2，这两个版本都是一直在维护者的，所以使用哪个版本都可以。 这两个版本我都用过，还是感觉Sqoop1用起来比较方便，使用Sqoop1的时候可以将具体的命令全部都写到脚本中，这样看起来是比较清晰的，但是有一个弊端，就是在操 阅读全文
posted @ 2023-06-03 08:11
strongmore
阅读(224)
评论(0)
推荐(0)
摘要：
### 数据生成 我们需要先生成测试数据，一份是服务端数据，还有一份是客户端数据 ### 【客户端数据】用户行为数据 首先我们模拟生成用户行为数据，也就是客户端数据，主要包含用户打开APP、点击、浏览等行为数据 用户行为数据：通过埋点上报，后端日志服务器(http)负责接收数据 埋点上报数据基本格式 阅读全文
posted @ 2023-06-03 08:10
strongmore
阅读(236)
评论(0)
推荐(0)
浙公网安备 33010602011771号