摘要:
问题:目前2.0 还未解决该问题 (1)log4j的日志文件肯定是会根据规则进行滚动的:当*.log满了就会滚动把前文件更名为*.log.1,然后重新进行*.log文件打印。这样flume就会把*.log.1文件当作新文件,又重新读取一遍,导致重复。 (2)当flume监控的日志文件被移走或删除,f
阅读全文
posted @ 2022-06-21 18:37
lshan
阅读(299)
推荐(0)
摘要:
doris 官文: https://doris.incubator.apache.org/docs/ecosystem/flink-doris-connector.html#version-compatibility https://github.com/apache/incubator-doris
阅读全文
posted @ 2022-06-15 17:57
lshan
阅读(2824)
推荐(0)
摘要:
flink1.3.1 mongo-flink connector : https://github.com/mongo-flink/mongo-flink mongodb-cdc 官文: https://ververica.github.io/flink-cdc-connectors/master/
阅读全文
posted @ 2022-06-14 10:00
lshan
阅读(1321)
推荐(0)
摘要:
常用: StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); // 开启 Checkpoint,间隔为 3 分钟 env.enable
阅读全文
posted @ 2022-06-13 16:17
lshan
阅读(981)
推荐(0)
摘要:
1.拉取clickhouse-server镜像 docker pull yandex/clickhouse-server:21.12.4.1 // 运行容器 docker run -d --rm --name=clickhouse yandex/clickhouse-server:21.12.4.1
阅读全文
posted @ 2022-06-07 19:12
lshan
阅读(725)
推荐(0)
摘要:
Phoenix整合HBase安装部署 原文:https://blog.csdn.net/qq_40751062/article/details/122695887 前言 一、安装HBase、Phoenix 二、安装 1.HBase安装 2.Phoenix安装 3.部署 1.配置HBase 整合Pho
阅读全文
posted @ 2022-05-30 13:46
lshan
阅读(739)
推荐(0)
摘要:
简介 哈希算法简单来说就是将一个元素映射成另一个元素,可以简单分类两类,加密哈希,如MD5,SHA256等,非加密哈希,如MurMurHash,CRC32,DJB等。今天要介绍的MurMurHash由Austin Appleby在2008年发明,与其它流行的哈希函数相比,对于规律性较强的key,Mu
阅读全文
posted @ 2022-05-20 11:57
lshan
阅读(708)
推荐(0)
摘要:
内存在线计算:https://krisives.github.io/bloom-calculator/ 应用场景: 字处理软件中,需要检查一个英语单词是否拼写正确 在 FBI,一个嫌疑人的名字是否已经在嫌疑名单上 在网络爬虫里,一个网址是否被访问过 邮箱垃圾邮件过滤功能 比特币网络 1. guava
阅读全文
posted @ 2022-05-19 16:18
lshan
阅读(1382)
推荐(0)
摘要:
项目使用Spring cloud,nacos作为注册中心。RPC使用的Feign。 在项目第一次启动的时候,访问链接会很慢,然后再次访问就会正常。 原因:Feign默认使用了Ribbon作为负载,然而Ribbon的默认加载策略是懒加载。当第一次访问的时候,不仅会发送访问请求,还有初始化相关的服务。
阅读全文
posted @ 2022-05-17 09:45
lshan
阅读(1532)
推荐(0)
摘要:
那么有两个版本,一个redshit,另一个为redshift-gtk,当然我懒得搞什么地区配置,那只需要安装redshift-gtk有图像化界面的这个版本: sudo apt-get install redshift-gtk 安装后,在搜索栏目进行搜索: red 打开以后,在enabled就能自动地
阅读全文
posted @ 2022-05-11 11:31
lshan
阅读(140)
推荐(0)