会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
小橙子11
博客园
首页
新随笔
联系
订阅
管理
2022年4月26日
如何提高爬虫获取效率
摘要: 今天在偶然间在爬虫群面看到一个同学提了一个有趣的问题,如何优化 Python 的速度?他原本的问题是这样的,他写一个 Python 爬虫,单线程 感觉过于慢了,达不到数据量的要求(十万级页面)。求问有哪些可以提高爬取效率的方法? 我看了下群里好多人也发出了同样的问题,但是帮助解答的没有几个。我想很多
阅读全文
posted @ 2022-04-26 16:39 小橙子11
阅读(106)
评论(0)
推荐(0)