摘要: 前言 这周的主要时间花在Flink上面,做了一个简单的从文本文件中读取数据,然后存入数据库的例子,能够正常的实现功能,但是遇到个问题,我有四台机器,自己搭建了一个standalone的集群,不论我把并行度设置多少,跑起来的耗时都非常接近,实在是百思不得其解。机器多似乎并不能帮助它。 把过程记录在此, 阅读全文
posted @ 2023-04-15 22:19 dk168 阅读(138) 评论(0) 推荐(0) 编辑
摘要: 前言 这周主要是学习使用Flink, 其中有一部分学习的内容就是生成parquet。 Flink自身提供的文档写了个大概,但是真要自己动手去生成pqrquet文件,发现还是有些小坑,本文就是记录这些坑。 开始 官方文档总是最好的开始的地方, 下面是官方文档上面的内容 https://nightlie 阅读全文
posted @ 2023-04-08 11:49 dk168 阅读(314) 评论(0) 推荐(0) 编辑
摘要: 前言 本周继续学习尼恩编著的《Netty、Redis、ZooKeeper高并发实战》,一些资源也贴在这里,自己以后想看还可以找到,这个是在博客园的一个入口https://www.cnblogs.com/crazymakercircle/p/9904544.html。 这周主要学习了Netty客户端和 阅读全文
posted @ 2023-03-26 18:06 dk168 阅读(453) 评论(0) 推荐(0) 编辑
摘要: 前言 这周学习尼恩编著的《Netty、Redis、ZooKeeper高并发实战》, 这本书写的很不错,通过十几个例子带领大家去体会高并发如何实现, 这周我看了最基础的JavaNOI部分,读书的时候好像明白了作者写的内容,但是又体会不深,非得自己动手写一些书上得例子,有时候还要改动下例子,才能体会深刻 阅读全文
posted @ 2023-03-19 19:00 dk168 阅读(189) 评论(0) 推荐(0) 编辑
摘要: 前言 这周工作比较忙,在学习上面就温习了一下动态代理,以前也看过这块的知识,但是一直没有动手去写下代码。学习就是这样,不动手写一写总有种没有掌握的感觉,记录下这个学习过程 动态代理有什么用呢? 它的作用就是增强,对于一个方法,我想在执行它之前执行另外一个log方法,那我可以修改代码,我可以直接去加, 阅读全文
posted @ 2023-03-11 10:13 dk168 阅读(193) 评论(0) 推荐(0) 编辑
摘要: 前言 读张开涛写的《亿级流量网站架构核心技术》里面讲到使用Java缓存:堆内缓存,堆外缓存,磁盘缓存,分布式缓存。介绍了几种缓存工具:Gauva Cache, Ehcache和MapDB。 其中Gauva Cache是google开发的,它只提供了堆内缓存。 Ehcache支持的比较全面,基本都支持 阅读全文
posted @ 2023-03-05 17:41 dk168 阅读(68) 评论(0) 推荐(0) 编辑
摘要: 前言 本文继续学习PostgreSQL, 看到PostgreSQL有个Array字段,感觉可以用来存储某种表,比如股票每天的价格, 我们称为market_price表,先来看下最开始market_price 表的定义 create table market_price( id char(10), t 阅读全文
posted @ 2023-02-24 18:37 dk168 阅读(166) 评论(0) 推荐(0) 编辑
摘要: 前言 最近看文章说如何把Postgresql的数据同步给别的数据源,可以利用它的WAL,具体怎么操作没有说,我自己找到一篇文章https://www.cnblogs.com/xiongmozhou/p/14817641.html 可以利用Flink CDC。 我自己正好前段时间也看过Flink,把这 阅读全文
posted @ 2023-02-17 22:03 dk168 阅读(755) 评论(0) 推荐(0) 编辑
摘要: 前言 PostgreSQL 可以直接存储二进制字段,而上周我学习了通过Protobuf来做grpc通信格式,当然也是可以序列化为二进制存入数据库的,需要的时候从数据库查询出来,通过protobuf来转成对应的Java对象,本文就是来尝试一下这个思路。 PostgreSQL 安装 使用docker来安 阅读全文
posted @ 2023-02-12 14:56 dk168 阅读(549) 评论(0) 推荐(0) 编辑
摘要: 前言 经常看到说gRPC怎么好的文章,实际工作中也没有体验过,这次看了一下它的HelloWorld程序,记录一下这个过程。 RPC是Remote Produce Call 的缩写, 就是远程调用,调用远程的代码像本地一样。Java里面比较有名的RPC框架Dubbo,但它只支持Java。 gRPC 是 阅读全文
posted @ 2023-01-16 20:31 dk168 阅读(94) 评论(0) 推荐(0) 编辑