随笔分类 -  spark

大数据相关的工作 记录
spark dataframe 插入 mongoDB 报错 MongoTypeConversionException: Cannot cast 0 into a BsonValue. ByteType has no matching BsonValue
摘要：第一次接触mongoDB ，spark 读kudu的表数据 使用mongo-spark-connector 插入mongoDB。 针对源表数据字段类型为tinyint 和 smallint 时 spark读入的DF会自动设置其类型为ByteType 和shortType 。直接插入mongoDB会出 阅读全文
posted @ 2020-10-12 22:30 ericpan24 阅读(507) 评论(0) 推荐(0)