随笔分类 - 日常问题以及解决方法记录
平时开发过程中遇到的各种问题以及解决方案
摘要:报错信息: 报错截图: 解决方案: 因为本人是sbt项目,所以添加一下依赖之后解决: 如果是maven项目的话,添加依赖到pom文件中然后在重新build,之后就可以了
阅读全文
摘要:spark版本:1.6.0 scala版本:2.10 报错日志: Application application_1562341921664_2123 failed 2 times due to AM Container for appattempt_1562341921664_2123_00000
阅读全文
摘要:场景描述: 再从该数据库中读取数据进行处理的时候,需要将某个字段加入到一个动态的map中,然后需要对该map进行filter过滤,在执行过滤方法的时候报错 报错截图: 也就是说该map执行不了这个方法。 code: 问题原因: 上面面代码中,我是将从数据库查询出来的数据"datatime"这个字段进
阅读全文
摘要:我的项目是sbt项目,今天早晨的时候还好好的,结果中午吃了个饭回来就特么的编译就报错了,真是闹心 报错截图: 解决方案: 删除idea的缓存文件 然后重新启动idea,重新下载jia包,在进行编译,就可以了,这个只是其中的一种办法 产生原因: 目前还未找到,希望有遇到该问题查处原因的网友留言告知,感
阅读全文
摘要:在spark项目中读取mysql中的数据的时候,发生了报错: 原因:主要是因为数据库中有一些字段为null,无法进行转换: 上面字段那种,我的inserttime字段类型为timestamp类型,不为空,默认值为000-00-00 00:00:00,所以无法进行转换,所以要进行处理一下 所以这里要进
阅读全文
摘要:spark版本:1.6.1 scala版本:2.10 问题呢场景: 在idea调试本地程序的时候创建hiveContext报错,上午的时候是没有这个问题的,下午在项目中写了一个小deamon,出现了而这个问题,下面是我的代码: 报错: 苦恼了一早晨,开始是以为我的依赖包没有下载,但是查看我的sbt的
阅读全文
摘要:今天在搭建zookeeper,搭建完成之后,启动一直报错: 上网查了好多资料:有几种解决方案: 1、在配置文件conf目录下,将zoo_sample.cfg删除,只留zoo.cfg(然而就我的情况而言,并没啥卵用,不删除也可以) 2、最后发现了问题,在配置zoo.cfg的时候把server配置成了s
阅读全文
摘要:说明: spark --version : 2.2.0 我有两个json文件,分别是emp和dept: emp内容如下: dept内容如下: 现在我需要通过sparksql将两个文件加载进来并做join,最后将结果保存到本地 下面是操作步骤: 1、初始化配置 2、将两个json文件加载进来 3、分别
阅读全文
摘要:今天写spark程序的时候遇到了一个问题就是,读取文件的时候报了一个错:“Exception in thread "main" java.nio.charset.MalformedInputException: Input length = 1” 读取文件的代码如下: 一看这个这个错“nio”错误,
阅读全文

浙公网安备 33010602011771号