2019年3月13日
300万数据去重问题
摘要： 问题：有一个300w行的文件，需要给他去重，有什么好的方法，前提是速度要快。 我的实现方式是： 1 .文件读取到内存中 2.在内存中去重 3.插入到MySQL中去。 300万行数据，实现去重只需要80秒 想提高插入速度可以批量插入和 并发 插入数据。 直接上代码： 注意事项： 程序在内存中的处理速度 阅读全文
posted @ 2019-03-13 15:09 淋哥 阅读(826) 评论(0) 推荐(0)