摘要: 今天用了一下pyspider爬虫框架,遇到了一点小问题,总结一下: 用pyspider爬取http网站,没有出错,而在爬取https网站出问题。错误信息如下 之前没用框架的时候也发生过SSL证书问题。在抓取函数中加入validate_cert=False就可以解决 这里同样的在self.crawl( 阅读全文
posted @ 2018-09-29 16:55 新知工作室 阅读(683) 评论(0) 推荐(0)