20210805爬取房天下出现的错误

今天爬取的网站是‘房天下’，获取不到下一页列表内容的链接，只获取到了第一个内容列表页的内容，如下图：

 

经过检查发现，只要把allowed_domains置空就OK了

程序结果：

posted @ 2021-08-05 12:17  有图有派  阅读(52)  评论(0)    收藏  举报