LZ名約山炮

启动Hbase集群时有一台起不来问题

摘要：问题：启动HBase时发现Hadoop164的regionserver没有启起来 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/module/hbase-2.0.5 阅读全文

posted @ 2021-08-03 12:08 LZ名約山炮阅读(431) 评论(0) 推荐(0)

Filnk实时数仓（DWD层）

摘要：第1章需求分析和实现思路 1.1 实时数仓分层在之前介绍实时数仓概念时讨论过，建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。我们这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回到kafka作为阅读全文

posted @ 2021-07-31 13:29 LZ名約山炮阅读(944) 评论(0) 推荐(1)

Idea中运行Flink程序报错问题

摘要： 1）报错信息如下： java.lang.NoClassDefFoundError: org/apache/flink/runtime/state/StateBackend at java.lang.Class.getDeclaredMethods0(Native Method) at java.la 阅读全文

posted @ 2021-07-28 20:28 LZ名約山炮阅读(823) 评论(0) 推荐(0)

Filnk实时数仓（数据采集）

摘要：第1章电商实时数仓介绍 1.1 普通实时计算与实时数仓比较普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线上升。实时数仓基于一定的数阅读全文

posted @ 2021-07-28 13:57 LZ名約山炮阅读(1323) 评论(0) 推荐(0)

Fink1.13.1（五）

摘要：第11章 Flink SQL编程如果用户需要同时流计算、批处理的场景下，用户需要维护两套业务代码，开发人员也要维护两套技术栈，非常不方便。Flink 社区很早就设想过将批数据看作一个有界流数据，将批处理看作流计算的一个特例，从而实现流批统一，Flink 社区的开发人员在多轮讨论后，基本敲定了Fli 阅读全文

posted @ 2021-07-27 19:16 LZ名約山炮阅读(381) 评论(0) 推荐(0)

Fink1.13.1（四）

摘要：第8章 Flink流处理高阶编程实战 8.1 基于埋点日志数据的网络流量统计 8.1.1 指定时间范围内网站总浏览量（PV）的统计实现一个网站总浏览量的统计。我们可以设置滚动时间窗口，实时统计每小时内的网站PV。此前我们已经完成了该需求的流数据操作，当前需求是在之前的基础上增加了窗口信息 pack 阅读全文

posted @ 2021-07-23 21:31 LZ名約山炮阅读(180) 评论(0) 推荐(0)

Fink1.13.1（三）

摘要：第6章 Flink流处理核心编程实战 6.1 基于埋点日志数据的网络流量统计 6.1.1 网站总浏览量（PV）的统计衡量网站流量一个最简单的指标，就是网站的页面浏览量（Page View，PV）。用户每次打开一个页面便记录1次PV，多次打开同一页面则浏览量累计。一般来说，PV与来访者的数量成正比阅读全文

posted @ 2021-07-21 20:40 LZ名約山炮阅读(159) 评论(0) 推荐(0)

Flink程序在HDFS中创建目录报权限错误

摘要：问题：Caused by: org.apache.hadoop.security.AccessControlException: Permission denied..... 解决方案一：在VM参数中添加用户（该用户是能在HDFS中创建目录，即拥有权限的用户）解决方案二：在程序代码中设置用户名 S 阅读全文

posted @ 2021-07-21 13:32 LZ名約山炮阅读(723) 评论(0) 推荐(0)

Fink1.13.1（二）

摘要：第4章 Flink运行架构 4.1 运行架构官网：https://flink.apache.org 查看官网介绍之后得出结论：Flink运行时包含2种进程 1个JobManager和至少1个TaskManager 4.1.1 客户端严格上说, 客户端不是运行和程序执行的一部分, 而是用于准备和发阅读全文

posted @ 2021-07-19 19:14 LZ名約山炮阅读(153) 评论(0) 推荐(0)

Fink1.13.1（一）

摘要：第1章 Flink简介 1.1 初识Flink Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化阅读全文

posted @ 2021-07-15 16:47 LZ名約山炮阅读(336) 评论(0) 推荐(0)

公告