2021年6月4日
Mongodb内嵌文档索引创建问题
摘要： 背景 需要创建数据全字段索引，因此把带检索数据列以内嵌文档的方式写入，在内嵌文档上加索引，加速查询 方案1：内嵌文档上加索引 数据存储格式如下： { "_id" : "AB16105869340072961", "info" : { "payment_bank_code" : "BRI", "ord 阅读全文
posted @ 2021-06-04 19:01 肆玖爺 阅读(879) 评论(0) 推荐(0)
Spark大数据量写入Mysql效率问题
摘要： 背景 数据列不固定，每次全量覆盖数据到Mysql，涉及到数据表结构的变更，需要调整自动创建数据表结构 方案1：DataFrameWriter.jdbc 使用spark原生提供的DataFrameWriter.jdbc，参考代码如下： /** * 数据覆盖写入指定mysql表 * 批量读写参数设置参考 阅读全文
posted @ 2021-06-04 14:07 肆玖爺 阅读(3011) 评论(0) 推荐(0)