会员
众包
新闻
博问
AI培训
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
英雄莫问出处,富贵当思缘由
博客园
首页
新随笔
联系
订阅
管理
2017年12月19日
Python 爬虫 大量数据清洗 ---- sql语句优化
摘要: 1. 问题描述 在做爬虫的时候,数据量很大,大约有五百百万条数据,假设有个字段是conmany_name(拍卖公司名称),我们现在需要从五百万条数据里面查找出来五十家拍卖公司, 并且要求字段 time(时间) 大于7月一号,小于10月31号。 2. 问题解决 我们首先想到的解决办法是添加索引,对拍卖公司字段添加索引,但是因为日期是大于7月1号,小于10月31号,在...
阅读全文
posted @ 2017-12-19 15:54 淋哥
阅读(1181)
评论(0)
推荐(0)
编辑
公告