日常问题以及解决方法记录 - 随笔分类 - 郭小白

记一次hadoop yarn环境无法提交任务的问题排查

摘要：1. 集群环境 ambari-version：2.7.5 HDP-version：3.0 2.问题描述 hadoop-yarn的启动之后，运行一段时间，莫名其妙的出现新的任务无法提交上去，查看yarn的状态之后，发现yarn的状态都是正常的，并且所有的资源都是充足的，但是提交任务之后就会一直处于ac 阅读全文

posted @ 2024-04-19 12:46 郭小白阅读(491) 评论(0) 推荐(0)

Caused by: com.esotericsoftware.kryo.KryoException: Buffer overflow. Available: 0, required: 134217728

摘要：Kryo序列化缓冲区大小导致任务失败的问题问题报错 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/data/hadoop/yarn/local/filecache/185 阅读全文

posted @ 2021-07-07 20:22 郭小白阅读(3568) 评论(0) 推荐(0)

ERROR BatchJobMain: Task not serializable

摘要：spark在class中使用log4j报错，无法序列化的问题报错信息 21/06/16 11:45:22 ERROR BatchJobMain: Task not serializable org.apache.spark.SparkException: Task not serializable 阅读全文

posted @ 2021-06-16 21:00 郭小白阅读(146) 评论(0) 推荐(0)

Spark创建HiveContext报错tez的问题

摘要：java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning 报错信息 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/te 阅读全文

posted @ 2021-06-16 20:50 郭小白阅读(704) 评论(0) 推荐(0)

Spark初始换HiveContext空指针异常

摘要：spark程序初始化HiveContext报错：空指针异常版本说明： spark: 1.6.1 scala: 2.10.8 hive: 1.2.1 报错信息 java.lang.RuntimeException: java.lang.NullPointerException at org.apac 阅读全文

posted @ 2021-06-16 20:44 郭小白阅读(272) 评论(0) 推荐(0)

windows10专业版操作系统无法监听远程端口

摘要：windows 10专业版操作系统无法监听3389端口问题描述 windows 10 专业版操作系统无法远程，通过telnet命令发现，对应的默认端口(3389)不通 cmd命令执行netstat -ano | findstr 3389之后，并没有看到该端口的监听信息问题解决确认电脑远程桌面功阅读全文

posted @ 2021-05-09 15:56 郭小白阅读(4159) 评论(0) 推荐(0)

The last packet sent successfully to the server was 24,211,129 milliseconds ago. is longer than the server configured value of 'wait_timeout'....

摘要：flink连接mysql报错连接超时报错内容：mysql连接超时报错原因分析： flink在流式程序在向mysql写入数据的时候，由于已经跟mysql建立的连接长时间没有想mysql中写入数据，查过了mysql的最大心跳时间(mysql默认是8小时)，此时mysql会将连接关闭，导致再次写入数据阅读全文

posted @ 2021-03-26 15:20 郭小白阅读(1075) 评论(0) 推荐(0)

Failure to find org.glassfish:javax.el:pom:3.0.1-b08-SNAPSHOT in https://repository.apache.org/snapshots was cached in the local repository,

摘要：Failure to find org.glassfish:javax.el:pom:3.0.1-b08-SNAPSHOT in xxx 问题描述：在进行程序编译编译的时候发生通过pom下载文件之后进行编译报错：看到这个问题首要想到的就是，可能jar冲突了，查看一下项目的mvn依赖情况，找到这个阅读全文

posted @ 2020-12-27 19:17 郭小白阅读(5782) 评论(0) 推荐(1)

sqlServer使用md5加密字符串的坑

摘要：sqlSERVER对字符串字段进行加密的问题问题描述：在使用sqlServer的md5函数对字符串进行加密的过程中发现，针对相同的字符串进行加密，会得到不同的结果：可以看到，二者唯一的区别就是对需要加密的字符串进行了char类型的转换问题解决：找到问题原因之后，如果想要解决，那就简单了，将阅读全文

posted @ 2020-12-26 18:42 郭小白阅读(686) 评论(0) 推荐(0)

JavaSpark写RDD到ES时指定文档ID的

摘要：spark版本：2.3 ES版本：7.1 问题描述：在通过JavaSpark写入数据到ES过程中，需要对文档id进行手动指定。在查询ES官网之后，返现官网介绍中是有次方法的：可以看到，JavaEsSpark.saveToEs该方法是有一个这样的构造方法，需要传入一个ImmutableMap参数阅读全文

posted @ 2020-12-26 18:01 郭小白阅读(853) 评论(0) 推荐(0)

flume启动报错：java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

摘要：一、问题描述新部署的flume在启动时候报错：java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V2020-06-30 11:40:20,359 (SinkRunner-PollingRunner-Defaul... 阅读全文

posted @ 2020-06-30 13:46 郭小白阅读(4655) 评论(0) 推荐(0)

Caused by: org.datanucleus.exceptions.NucleusUserException: Persistence process has been specified to use a ClassLoaderResolver of name "datanucleus" yet this has not been found by the DataNucleus plugin mechanism. Please check your CLASSPATH an

摘要：spark使用submit提交任务到集群报错：ClassLoaderResolver for class "" gave error on creation : {1}org.datanucleus.exceptions.NucleusUserException: ClassLoaderResolver for class "" gave error on creation : {1} at or... 阅读全文

posted @ 2020-05-15 10:19 郭小白阅读(2014) 评论(0) 推荐(0)

- Caused by: com.microsoft.sqlserver.jdbc.SQLServerException: 不能将显式值插入时间戳列。请对列列表使用 INSERT 来排除时间戳列，或将 DEFAULT 插入时间戳列

摘要：kettle同步数据，从mysql到sqlServer中，MySQL中的时间字段为timestamp类型，sqlserver中的数据列数据类型为timestamp类型，但是二者同步的时候会发生错误，报错：然后试图将sqlServer中的timestamp字段类型修改为datatime类型，执行语句：Alter table HDP_cluster_status_info Alter Column c... 阅读全文

posted @ 2020-05-12 16:09 郭小白阅读(10487) 评论(0) 推荐(0)

hive:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

摘要：集群机器停机之后，重新启动之后，hive客户端进入，查询数据报错：FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.Sessio... 阅读全文

posted @ 2020-05-08 15:01 郭小白阅读(392) 评论(0) 推荐(0)

spark报错：Class org.apache.mapreduce.io.compress.GzipCodec not found

摘要：现象：在进行spark本地IDEA运行的时候，报错报错：Exception in thread "main" java.lang.RuntimeException: Error in configuring object at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:112) at... 阅读全文

posted @ 2020-04-11 21:45 郭小白阅读(642) 评论(0) 推荐(0)

kettle解除同步条数限制

摘要：现象：最近在进行开发kettle程序的时候，在本地环境测试的时候是没有问题的，但是当上线到生产环境，每次当数据同步到10000条的时候，程序就卡主，也不报错，就是不往下进行了。问题分析：1、生产个本地是相同的环境，所以先排除环境问题的干扰 2、在本次进行测试的时候，由于只是测试器功能，并未对其性能进阅读全文

posted @ 2020-04-05 22:05 郭小白阅读(2685) 评论(0) 推荐(0)

hdfs上传文件报错,org.apache.hadoop.fs.ChecksumException:

摘要：场景：在从hdfs上面getmerge到本地文件，然后在将其上传到hdfs指定的目录下，报错报错内容： 20/03/09 17:34:40 INFO fs.FSInputChecker: Found checksum error: b[0, 16384]=700d0a3531342c33352c3 阅读全文

posted @ 2020-03-09 22:45 郭小白阅读(1216) 评论(0) 推荐(0)

spark程序运行报错：java.lang.NoSuchMethodError:

摘要：报错:java.lang.NoSuchMethodError: com.winner.ipva.reid.calculate.ReidCollectionCustomerGroupDistributeArriveDay$.calculate(Lorg/apache/spark/sql/SQLContext;Lorg/apache/spark/sql/hive/HiveContext;Ljava/l... 阅读全文

posted @ 2020-03-02 00:18 郭小白阅读(1373) 评论(0) 推荐(0)

Task 0.0 in stage 1.0 (TID 1) had a not serializable result: org.apache.hadoop.hbase.client.Result

摘要：问题：spark操作HBase的时候报错Result为序列化问题报错： Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0.0 in stage 1 阅读全文

posted @ 2020-02-07 23:57 郭小白阅读(1023) 评论(0) 推荐(1)

maven-pom-project文件报错

摘要：新导入项目之后，在下载依赖的过程中，依赖包提示报错，截图问题原因：本地仓库的原因，由于本地仓库中有众多的版本jar包导致解决方法：可以在idea中为当前项目更换一个本地仓库，然后重新下载相关依赖包即可。阅读全文

posted @ 2020-02-06 15:57 郭小白阅读(2118) 评论(0) 推荐(0)

郭小白

随笔分类 - 日常问题以及解决方法记录

公告