Robots2

摘要： 一、简介 PrestoConnection并不能提供一个持久的Socket连接，而是创建一个OkHttpClient与Presto按照HTTP1.1协议进行通信，并且PrestoConnection仅保存一些基本信息（catalog、schema等） 二、使用方式 1、建立连接 和传统的JDBC方式 阅读全文

摘要： Apache Linkis(incubating) 计算中间件 https://github.com/apache/incubator-linkisDataSphereStudio 一站式数据应用开发管理门户 https://github.com/WeBankFinTech/DataSphereSt 阅读全文

摘要： 一、处理函数简介 在底层，我们可以不定义任何具体的算子（比如 map，filter，或者 window），而只是提炼出一个统一的“处理”（process）操作——它是所有转换算子的一个概括性的表达，可以自定义处理逻辑，所以这一层接口就被叫作“处理函数”（process function）。在处理函数 阅读全文

摘要： 一、背景 ck因为有合并文件操作，适合批量写入。如单条插入则速度太慢 二、Flink写入ck优化 改为分批插入，代码如下 DataStream<Row> stream = ... stream.addSink(JdbcSink.sink( "INSERT INTO mytable (col1, co 阅读全文

摘要： 我们一般碰到的压力来自以下几个方面： 一，产生数据流的速度如果过快，而下游的算子消费不过来的话，会产生背压问题。背压的监控可以使用Flink Web UI(localhost:8081)来可视化监控，一旦报警就能知道。一般情况下背压问题的产生可能是由于sink这个操作符没有优化好，做一下优化就可以了 阅读全文

摘要： 一、背景 对于clickhouse有过使用经验的开发者应该知道，ck的写入，最优应该是批量的写入。但是对于流式场景来说，每批写入的数据量都是不可控制的，如kafka，每批拉取的消息数量是不定的，flink对于每条数据流的输出，写入ck的效率会十分缓慢，所以写了一个demo，去批量入库。生产环境使用还 阅读全文

摘要： import com.google.common.cache.CacheBuilder; import com.google.common.cache.CacheLoader; import com.google.common.cache.LoadingCache; import java.text 阅读全文

摘要： 一、摘要 如果想使用Flink，Flink的Watermark是很难绕过去的概念。本文帮大家梳理Watermark概念 二、Watermark疑问 1、Flink应用的常见需求是什么 如公司运营一个官网，想统计下过去一分钟有多少用户访问官网。 如果使用Flink开发，来一条数据则计算一条也是可以的。 阅读全文

摘要： 一、整体代码 1、method1：执行select语句获取，select * from dims where 1 = 2 2、method2：执行show create table获取，show create table dims 3、method3：从jdbc数据库连接获取 import lomb 阅读全文

摘要： 一、特殊字符 1、输入框、多行输入框输入$s字符默认替换成空。 如调用后端接口的输入框输入123$BB123，实际请求的参数为123，$后面的参数消息 解决办法：如确实需要输入$的话，在$前面加\即可。 例：期望请求参数123$BB123，则输入123\$BB123 阅读全文