摘要:
目前,为了加速页面的加载速度,页面的很多部分都是用JS生成的,而对于用scrapy爬虫来说就是一个很大的问题,因为scrapy没有JS engine,所以爬取的都是静态页面,对于JS生成的动态页面都无法获得。 解决方案: 利用第三方中间件来提供JS渲染服务: scrapy-splash 等。 利用w 阅读全文
posted @ 2018-01-19 16:57
会飞の鱼
阅读(629)
评论(0)
推荐(0)