摘要: 不在https、localhost等安全的环境中访问时,crypto.randomUUID 是不可用的。 如果这个是由第三方库引起的,如果不影响使用可以不解决,如果影响到使用,暴力解决办法为修改node_modules里面的代码。 记得清除构建工具(例如vite)的缓存(例如./node_modul 阅读全文
posted @ 2024-05-04 19:16 aminor 阅读(80) 评论(0) 推荐(0) 编辑
摘要: 需要限制资源数量,使用 spark.cores.max 或 --total-executor-cores 来指定最大核数。 假设集群一共4c5.6g pyspark(使用2c2g) from pyspark.sql import SparkSession spark = SparkSession.b 阅读全文
posted @ 2024-04-25 12:46 aminor 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 以该命令为例,我们设置一个executor并分配内存为2800m,可以看到ui上只给executor分配了1.5G的内存。同理,如果你设置了--executor-memory=2g,那么实际上只会有1048.8M((2048 - 300) * 0.6)的内存会被分配。 spark-submit -- 阅读全文
posted @ 2024-04-23 12:56 aminor 阅读(17) 评论(0) 推荐(0) 编辑
摘要: import javalang def get_type_string(type): # 处理基本类型和引用类型 type_str = '' if isinstance(type, javalang.tree.ReferenceType): type_str = type.name if type. 阅读全文
posted @ 2024-01-07 17:21 aminor 阅读(89) 评论(0) 推荐(0) 编辑
摘要: 1. 下载 https://kafka.apache.org/downloads 解压压缩包,以/root/kafka为例 2. 启动zk /root/kafka/bin/zookeeper-server-start.sh /root/kafka/config/zookeeper.propertie 阅读全文
posted @ 2023-12-14 14:45 aminor 阅读(523) 评论(0) 推荐(0) 编辑
摘要: (from gpt4-turbo) 长轮询和短轮询是两种客户端与服务器进行数据交换的技术,用于实现如即时消息、实时更新等功能。 短轮询: 定义:客户端定期向服务器发送请求,询问是否有新的数据。 特点:实现简单,客户端使用固定的时间间隔重复发送请求。 优点:兼容性好,适用于任何类型的服务器。 缺点:效 阅读全文
posted @ 2023-12-12 11:04 aminor 阅读(212) 评论(0) 推荐(1) 编辑
摘要: mq相关 启动/停止nameserver nohup sh /opt/module/rocketmq-all-5.1.4-bin-release/bin/mqnamesrv & /opt/module/rocketmq-all-5.1.4-bin-release/bin/mqshutdown nam 阅读全文
posted @ 2023-12-11 22:35 aminor 阅读(26) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/chushoufengli/article/details/130976033 阅读全文
posted @ 2023-12-11 20:53 aminor 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 区别 在Apache Flink中,allowedLateness和forBoundedOutOfOrderness是与时间窗口和事件时间处理相关的两个概念,它们用于处理乱序事件。 forBoundedOutOfOrderness: 这是一个水印生成策略,用于处理乱序事件流中的事件。在实时流处理中, 阅读全文
posted @ 2023-12-10 20:07 aminor 阅读(144) 评论(0) 推荐(0) 编辑
摘要: 好贴存档 https://www.cnblogs.com/walkersss/p/16994891.html交互式shell 非交互式shell 阅读全文
posted @ 2023-12-07 18:37 aminor 阅读(2) 评论(0) 推荐(0) 编辑
/**/ /**/