2020年3月31日

使用scrapy-selenium, chrome-headless抓取动态网页
摘要： 在使用scrapy抓取网页时, 如果遇到使用js动态渲染的页面, 将无法提取到在浏览器中看到的内容. 针对这个问题scrapy官方给出的方案是scrapy selenium, 这是一个把selenium集成到scrapy的开源项目, 它使用selenium抓取已经渲染好(js代码已经执行完成)的动态 阅读全文
posted @ 2020-03-31 22:17 自带buff 阅读(984) 评论(0) 推荐(0) 编辑

导航