06 2023 档案

Java获取数据库的列名、列数、标题、类型等信息, ResultSetMetaData
摘要：import java.sql.*; public class jdbcTest { public static void main(String[] args) throws ClassNotFoundException, SQLException { //1、加载驱动 Class.forName 阅读全文
posted @ 2023-06-29 15:45 Robots2 阅读(307) 评论(0) 推荐(0)
使用guava的cache实现缓存
摘要：一、maven <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance 阅读全文
posted @ 2023-06-29 10:05 Robots2 阅读(66) 评论(0) 推荐(0)
calcite-avatica数据传输时对日期类型压缩，导致客户端展示数据异常问题排查
摘要：一、背景 用户使用如下sql来获取周开始和结束时间，直连presto查询该sql，得到的week_start=2019-12-30，而通过calcite-avatica查询出结果为week_start=2019-12-29. 日期相差一天。 with week_array as ( select s 阅读全文
posted @ 2023-06-27 18:05 Robots2 阅读(121) 评论(0) 推荐(0)
记一次腾讯云轻量级服务器安装mysql配置完成后，外网无法访问问题
摘要：一、配置信息正常 1、防火墙配置通过 2、mysql端口正常启动netstat -antlp | grep 3306 3、配置都正常，但是telnet访问不通超时Operation timed out telnet 124.223.98.224 3306 Trying 124.223.98.224. 阅读全文
posted @ 2023-06-22 13:06 Robots2 阅读(486) 评论(0) 推荐(0)
Presto-JDBC使用
摘要：一、简介 PrestoConnection并不能提供一个持久的Socket连接，而是创建一个OkHttpClient与Presto按照HTTP1.1协议进行通信，并且PrestoConnection仅保存一些基本信息（catalog、schema等） 二、使用方式 1、建立连接 和传统的JDBC方式 阅读全文
posted @ 2023-06-16 14:39 Robots2 阅读(422) 评论(0) 推荐(0)
微众银行开源大数据开发平台组件
摘要：Apache Linkis(incubating) 计算中间件 https://github.com/apache/incubator-linkisDataSphereStudio 一站式数据应用开发管理门户 https://github.com/WeBankFinTech/DataSphereSt 阅读全文
posted @ 2023-06-13 18:11 Robots2 阅读(222) 评论(0) 推荐(0)
FLink处理函数ProcessFunction、KeyedProcessFunction、ProcessWindowFunction、 ProcessAllWindowFunction
摘要：一、处理函数简介 在底层，我们可以不定义任何具体的算子（比如 map，filter，或者 window），而只是提炼出一个统一的“处理”（process）操作——它是所有转换算子的一个概括性的表达，可以自定义处理逻辑，所以这一层接口就被叫作“处理函数”（process function）。在处理函数 阅读全文
posted @ 2023-06-08 11:00 Robots2 阅读(1314) 评论(0) 推荐(0)
FLink写入Clickhouse优化
摘要：一、背景 ck因为有合并文件操作，适合批量写入。如单条插入则速度太慢 二、Flink写入ck优化 改为分批插入，代码如下 DataStream<Row> stream = ... stream.addSink(JdbcSink.sink( "INSERT INTO mytable (col1, co 阅读全文
posted @ 2023-06-02 15:01 Robots2 阅读(867) 评论(0) 推荐(0)
FLink怎么做压力测试和监控？
摘要：我们一般碰到的压力来自以下几个方面： 一，产生数据流的速度如果过快，而下游的算子消费不过来的话，会产生背压问题。背压的监控可以使用Flink Web UI(localhost:8081)来可视化监控，一旦报警就能知道。一般情况下背压问题的产生可能是由于sink这个操作符没有优化好，做一下优化就可以了 阅读全文
posted @ 2023-06-02 10:07 Robots2 阅读(521) 评论(0) 推荐(0)
Flink流式数据缓冲后批量写入Clickhouse
摘要：一、背景 对于clickhouse有过使用经验的开发者应该知道，ck的写入，最优应该是批量的写入。但是对于流式场景来说，每批写入的数据量都是不可控制的，如kafka，每批拉取的消息数量是不定的，flink对于每条数据流的输出，写入ck的效率会十分缓慢，所以写了一个demo，去批量入库。生产环境使用还 阅读全文
posted @ 2023-06-01 17:21 Robots2 阅读(2092) 评论(0) 推荐(1)