05 2023 档案

flink中的Keyed State
摘要：个人理解 感觉就是三种数据结构，让你的key能够存一些东西。Map、List、Value就是字面意思，没别的。 此外，我想知道是不是 “每个key对应一个state实例”，文章末尾也有一个很有意思的gpt4对话。 ValueState性能问题 另：Flink 提供了为 RocksDB 优化的 Map 阅读全文
posted @ 2023-05-09 22:51 aminor 阅读(610) 评论(1) 推荐(0)
【转】flink中的lambda泛型擦除
摘要：https://blog.csdn.net/Suyebiubiu/article/details/123963603 讲得很好 阅读全文
posted @ 2023-05-09 22:27 aminor 阅读(30) 评论(0) 推荐(0)
[学习记录] flink的事件时间、摄取时间、处理时间
摘要：在Flink中，事件时间、摄取时间和处理时间是用于处理流数据的三种时间概念。这三种时间概念分别反映了不同程序处理的时间特征。下面分别介绍它们的定义及区别： 事件时间（Event Time）: 事件时间是指事件在数据源端实际发生的时间，通常信息保存在事件数据的元数据或者是数据内容中。事件时间允许Fli 阅读全文
posted @ 2023-05-09 22:18 aminor 阅读(657) 评论(0) 推荐(1)
启动flink显示ERROR: JAVA_HOME is not set and could not be found.
摘要：问题： JAVA_HOME存在，但启动flink时出现ERROR: JAVA_HOME is not set and could not be found. 原因： 环境变量加载顺序不对 # /etc/profile.d/hadoop.sh # ... export HADOOP_CLASSPATH 阅读全文
posted @ 2023-05-09 14:09 aminor 阅读(297) 评论(0) 推荐(0)
hadoop启动脚本
摘要：[INFO] jps information: centos001 : 16843 DataNode 17385 JobHistoryServer 16688 NameNode 17215 NodeManager 12534 StandaloneSessionClusterEntrypoint ce 阅读全文
posted @ 2023-05-09 13:26 aminor 阅读(48) 评论(0) 推荐(0)
flink Connecting to remote task manager 'localhost/127.0.0.1:44489
摘要：问题： 启动集群后，执行任务时失败： Caused by: org.apache.flink.runtime.io.network.partition.consumer.PartitionConnectionException: Connection for partition 47d4a41224 阅读全文
posted @ 2023-05-08 21:48 aminor 阅读(1000) 评论(0) 推荐(1)
有关本地集群的linux操作tips
摘要：免密登录认证 -1. 使用rsa加密技术，生成公钥和私钥。一路回车即可 [root@username01 ~]# cd ~ [root@username01 ~]# ssh-keygen -t rsa -2. 进入~/.ssh目录下，使用ssh-copy-id命令 [root@username01 阅读全文
posted @ 2023-05-07 14:14 aminor 阅读(35) 评论(0) 推荐(0)
tiktoken计算chatgpt-token
摘要：强迫症表示必须要看到token数量，~~自己写一个~~ 拿GPT写一个玩玩 核心代码： import tiktoken enc = tiktoken.encoding_for_model("gpt-4") print(enc.encode("hello world!")) import tkinte 阅读全文
posted @ 2023-05-06 20:43 aminor 阅读(715) 评论(0) 推荐(0)

/**/ /**/