2020年1月21日
摘要: 引言 Selenium 在被使用的时候有个麻烦事,就是环境的相关配置,得安装好相关浏览器,比如 Chrome、Firefox 等等,然后还要到官方网站去下载对应的驱动,最重要的还需要安装对应的 Python Selenium 库,确实是不是很方便,另外如果要做大规模部署的话,环境配置的一些问题也是个 阅读全文
posted @ 2020-01-21 18:09 始终不够啊 阅读(1733) 评论(0) 推荐(0) 编辑
摘要: 爬虫中使用异步实现高性能的数据爬取操作。 背景 其实爬虫的本质就是client发请求批量获取server的响应数据,如果我们有多个url待爬取,只用一个线程且采用串行的方式执行,那只能等待爬取一个结束后才能继续下一个,效率会非常低。需要强调的是:对于单线程下串行N个任务,并不完全等同于低效,如果这N 阅读全文
posted @ 2020-01-21 17:34 始终不够啊 阅读(518) 评论(0) 推荐(0) 编辑