scrapy爬虫框架和selenium的配合使用

　　首先，爬虫是面向监狱编程，真的不想玩，但迫于无奈啊。

　　搞了一段时间scrapy，发现不论怎么设置，总是无法爬取所有内容。因此考虑与selenium结合，解决爬取内容不全、爬取速度慢、爬取动态内容等问题。

　　参考了一篇文章：scrapy爬虫框架和selenium的配合使用 - 恐水的鱼 - 博客园 (cnblogs.com)

posted @ 2021-07-12 16:37  slark_k  阅读(135)  评论(0)    收藏  举报