2021年7月13日
Spark分区写入MongoDb实现
摘要： 场景 数据量两千万左右，数据列不固定，需要每天更新一次数据，使用MongoDB存储(其他存储可能更佳，此处不考虑)。数据使用方式： 通过_id检索 通过任意列（一列或多列）进行count查询 实现1：单表全量覆盖写入 spark任务每天全量写入MongoDB，并创建索引，数据写入耗时19分钟左右，构 阅读全文
posted @ 2021-07-13 16:45 肆玖爺 阅读(523) 评论(0) 推荐(0)