秋华 - 博客园

2020年10月3日

摘要： Flink Table 和 SQL内置了很多SQL中支持的函数；如果有无法满足的需要，则可以实现用户自定义的函数（UDF）来解决。 1 系统内置函数 Flink Table API 和 SQL为用户提供了一组用于数据转换的内置函数。SQL中支持的很多函数，Table API和SQL都已经做了实现，其阅读全文

posted @ 2020-10-03 17:58 秋华阅读(3388) 评论(0) 推荐(0)

Flink基础（十九）：Table API 和 Flink SQL（四）窗口

摘要： 1 常规窗口时间语义，要配合窗口操作才能发挥作用。最主要的用途，当然就是开窗口、根据时间段做计算了。下面我们就来看看Table API和SQL中，怎么利用时间字段做窗口操作。在Table API和SQL中，主要有两种窗口：Group Windows和Over Windows 1.1 分组窗口分阅读全文

posted @ 2020-10-03 17:53 秋华阅读(3479) 评论(0) 推荐(2)

Flink基础（十八）：Table API 和 Flink SQL（三）流处理中的特殊概念

摘要： Table API和SQL，本质上还是基于关系型表的操作方式；而关系型表、关系代数，以及SQL本身，一般是有界的，更适合批处理的场景。这就导致在进行流处理的过程中，理解会稍微复杂一些，需要引入一些特殊概念。 1 流处理和关系代数（表，及SQL）的区别关系代数（表）/SQL流处理处理的数据对象字阅读全文

posted @ 2020-10-03 17:49 秋华阅读(906) 评论(0) 推荐(0)

Flink基础（十七）：Table API 和 Flink SQL（二）API调用

摘要： 1 基本程序结构 Table API 和 SQL 的程序结构，与流式处理的程序结构类似；也可以近似地认为有这么几步：首先创建执行环境，然后定义source、transform和sink。具体操作流程如下： val tableEnv = ... // 创建表环境 // 创建表 tableEnv.co 阅读全文

posted @ 2020-10-03 17:44 秋华阅读(2575) 评论(0) 推荐(0)

2020年10月2日

FLINK实例（12）:CONNECTORS（11）elasticsearch 写入

该文被密码保护。阅读全文

posted @ 2020-10-02 08:58 秋华阅读(422) 评论(0) 推荐(0)

2020年10月1日

FLINK实例（11）:CONNECTORS（10）hbase 读写（一）

该文被密码保护。阅读全文

posted @ 2020-10-01 19:02 秋华阅读(437) 评论(0) 推荐(0)

2020年9月30日

HBase读取数据卡住长时间不返回的原因分析

摘要：这些天做HBase，但是遇到Hbase连接上之后读取数据的时候，一直卡在那儿，程序既不报错也不结束，让我好生纠结，困扰我一整天。现在问题终于解决，现在写了一段Demo代码，具体如下： public static void main(String[] args) throws IOException 阅读全文

posted @ 2020-09-30 03:12 秋华阅读(1785) 评论(0) 推荐(1)

2020年9月29日

Connection Refused in Tutorial VM Apache Atlas

摘要：错误 i was trying to run the “cross component lineage with Apache Atlas, across apache sqoop, storm and hive” using your Tutorial (VM), but I encountere 阅读全文

posted @ 2020-09-29 18:07 秋华阅读(175) 评论(0) 推荐(0)

2020年9月28日

离线电商数仓（六十五）之数据质量监控（一）Griffin（一）入门

摘要： Griffin 入门 1 Griffin 概述 Apache Griffin 是一个开源的大数据数据质量解决方案，它支持批处理和流模式两种数据质量检测方式，可以从不同维度度量数据资产，从而提升数据的准确度和可信度。例如：离线任务执行完毕后检查源端和目标端的数据数量是否一致，源表的数据空值等。 2 阅读全文

posted @ 2020-09-28 22:18 秋华阅读(1028) 评论(0) 推荐(0)

2020年9月25日

java: -source 1.5 中不支持 diamond 运算符

摘要： pom.xml 里面添加 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.1</v 阅读全文

posted @ 2020-09-25 16:03 秋华阅读(524) 评论(0) 推荐(0)

秋华

公告