摘要: Flink On Yarn 的Classpath的传递过程分析。ClassNotFoundException: org.apache.hadoop.mapred.MRVersion 阅读全文
posted @ 2023-05-29 15:48 一杯半盏 阅读(392) 评论(0) 推荐(0) 编辑
摘要: 问题描述 Dubbo 在3.2.x 版本中,类检查级别默认是STRICT 3.1 版本中默认为 WARN 告警级别,3.2 版本中默认为 STRICT 严格检查级别。 不配置的情况下,会将名单以外的类型转化成Map。 如何支持 Pair 的序列化和反序列化 dubbo.application.ser 阅读全文
posted @ 2024-03-14 15:34 一杯半盏 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 数据库字段为 DATETIME(3) 时可以保存毫秒 阅读全文
posted @ 2024-02-21 11:55 一杯半盏 阅读(27) 评论(0) 推荐(0) 编辑
摘要: 数据库时间类型字段精度问题,序列化类型怎么扩展字段 阅读全文
posted @ 2024-02-02 17:15 一杯半盏 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 解决 Recv failure: Connection reset by peer 第一类:网络问题,这一部分通过命令检查gitconfig 排查是否有 http https proxy的问题。 第二类:如果通过http协议拉取代码,则可以通过检查MacOS的钥匙串或者Windows 凭据管理器。 阅读全文
posted @ 2024-01-07 11:23 一杯半盏 阅读(551) 评论(0) 推荐(0) 编辑
摘要: class ByteArrayDeserializer is not an instance of org.apache.kafka.common.serialization.Deserializer Debugging Classloading 类似的 X cannot be cast to X 阅读全文
posted @ 2023-12-29 12:22 一杯半盏 阅读(60) 评论(0) 推荐(0) 编辑
摘要: APISIX APISIX 声称支持 Dubbo Proxy 实践 主要是 APISIX 官方网站上的这篇博客写的问题很大。 博客上写的 HTTP2DubboService 实现类 @Component public class HTTP2DubboServiceImpl implements HT 阅读全文
posted @ 2023-12-24 20:41 一杯半盏 阅读(44) 评论(1) 推荐(0) 编辑
摘要: 这里记录一些方法,具备下面的特征: * 通过租户代理访问 Kerberos 认证的 HADOOP 资源 * 获取 FileSystem 对象的技巧:FileSystem.get(URI, configuration) * 通用 doAs模板 * 通用 hdfsCommand模板,使用 try-with-resources。 阅读全文
posted @ 2023-11-30 18:17 一杯半盏 阅读(19) 评论(0) 推荐(0) 编辑
摘要: Flink 的源码内有这么一个AsyncIOExample程序,非常好用,可以用来无限跑流。用英文说就是long running或者runs forever。同时可以用来测试checkpoints,metricReporter。但很不幸,官方可能忘记加到maven ant插件的构建过程中。 阅读全文
posted @ 2023-10-26 20:35 一杯半盏 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 问题 Flink 提交作业,直接报错: java.lang.NoSuchMethodError: org.apache.hadoop.tracing.TraceUtils.wrapHadoopConf(Ljava/lang/String;Lorg/apache/hadoop/conf/Configu 阅读全文
posted @ 2023-09-18 17:56 一杯半盏 阅读(333) 评论(0) 推荐(0) 编辑
摘要: 排查HDFS_DELEGATION_TOKEN过期问题,以及问题汇总。排查分为三种情况,Spark框架自身的问题,Hadoop全家桶的问题,开发者通过Hive,HDFS,HBASE访问HDFS的问题。 阅读全文
posted @ 2023-09-12 12:13 一杯半盏 阅读(205) 评论(0) 推荐(0) 编辑