Spark和Kafka在IDEA整合运行时提示''com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.1''

使用kafka和sparkstreaming整合时,IDEA运行程序报错"com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.1",初步看是版本不兼容,但是版本后面确认没有问题,参考博文,修改了依赖包的依赖顺序就解决了问题。

依赖包顺序

修改了依赖包顺序,前三个如图所示的顺序是ok的。

①spark安装包中的jar包

②kafka安装包中的jar包

③sparkstreaming和kafka的整合jar包

运行程序

运行程序,发现kafka接收到flume的消息后,sparkstreaming可以正常pull,并将结果打印到控制台。

本次没有使用maven来管理jar包,直接导入安装包中的jar包来运行的,依赖包顺序调整只是这个报错的一种解决解决办法,具体原因暂时不明。

 

参考博文:

(1)https://segmentfault.com/a/1190000016412887

posted @ 2020-01-05 08:18  斐波那切  阅读(4404)  评论(0编辑  收藏  举报