aminor

2023年10月14日

摘要：省流 pycharm的问题，建议控制台直接输uvicorn main:app --reload，而不是点击右上角的运行相关issue https://github.com/encode/uvicorn/issues/2000 https://youtrack.jetbrains.com/issue 阅读全文

posted @ 2023-10-14 14:01 aminor 阅读(3010) 评论(0) 推荐(1)

2023年10月9日

pycharm连接远程jupyter

摘要： 1.linux安装jupyter 远程linux首先要安装jupyter，一般通过pycharm安装，会给出提示直接install即可，没有提示pip也可 2.linux设置Jupyter vim ~/.jupyter/jupyter_notebook_config.py 可以配置静态token c 阅读全文

posted @ 2023-10-09 19:07 aminor 阅读(925) 评论(0) 推荐(0)

2023年5月9日

flink中的Keyed State

摘要：个人理解感觉就是三种数据结构，让你的key能够存一些东西。Map、List、Value就是字面意思，没别的。此外，我想知道是不是 “每个key对应一个state实例”，文章末尾也有一个很有意思的gpt4对话。 ValueState性能问题另：Flink 提供了为 RocksDB 优化的 Map 阅读全文

posted @ 2023-05-09 22:51 aminor 阅读(594) 评论(1) 推荐(0)

【转】flink中的lambda泛型擦除

摘要： https://blog.csdn.net/Suyebiubiu/article/details/123963603 讲得很好阅读全文

posted @ 2023-05-09 22:27 aminor 阅读(30) 评论(0) 推荐(0)

[学习记录] flink的事件时间、摄取时间、处理时间

摘要：在Flink中，事件时间、摄取时间和处理时间是用于处理流数据的三种时间概念。这三种时间概念分别反映了不同程序处理的时间特征。下面分别介绍它们的定义及区别：事件时间（Event Time）: 事件时间是指事件在数据源端实际发生的时间，通常信息保存在事件数据的元数据或者是数据内容中。事件时间允许Fli 阅读全文

posted @ 2023-05-09 22:18 aminor 阅读(645) 评论(0) 推荐(1)

启动flink显示ERROR: JAVA_HOME is not set and could not be found.

摘要：问题： JAVA_HOME存在，但启动flink时出现ERROR: JAVA_HOME is not set and could not be found. 原因：环境变量加载顺序不对 # /etc/profile.d/hadoop.sh # ... export HADOOP_CLASSPATH 阅读全文

posted @ 2023-05-09 14:09 aminor 阅读(287) 评论(0) 推荐(0)

hadoop启动脚本

摘要： [INFO] jps information: centos001 : 16843 DataNode 17385 JobHistoryServer 16688 NameNode 17215 NodeManager 12534 StandaloneSessionClusterEntrypoint ce 阅读全文

posted @ 2023-05-09 13:26 aminor 阅读(43) 评论(0) 推荐(0)

2023年5月8日

flink Connecting to remote task manager 'localhost/127.0.0.1:44489

摘要：问题：启动集群后，执行任务时失败： Caused by: org.apache.flink.runtime.io.network.partition.consumer.PartitionConnectionException: Connection for partition 47d4a41224 阅读全文

posted @ 2023-05-08 21:48 aminor 阅读(975) 评论(0) 推荐(1)

2023年5月7日

有关本地集群的linux操作tips

摘要：免密登录认证 -1. 使用rsa加密技术，生成公钥和私钥。一路回车即可 [root@username01 ~]# cd ~ [root@username01 ~]# ssh-keygen -t rsa -2. 进入~/.ssh目录下，使用ssh-copy-id命令 [root@username01 阅读全文

posted @ 2023-05-07 14:14 aminor 阅读(29) 评论(0) 推荐(0)

2023年5月6日

tiktoken计算chatgpt-token

摘要：强迫症表示必须要看到token数量，~~自己写一个~~ 拿GPT写一个玩玩核心代码： import tiktoken enc = tiktoken.encoding_for_model("gpt-4") print(enc.encode("hello world!")) import tkinte 阅读全文

posted @ 2023-05-06 20:43 aminor 阅读(697) 评论(0) 推荐(0)

公告