爬取网页时,出现json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)错误

最近在学习Django时,进行网站爬取资源训练时,出现错误

 

 1.错误原因分析

我的代码如图

 

在网上找了很多资料之后,发现好像是网站设置了防火墙啥的,不能直接通过URL进行数据的爬取

2.解决办法

①首先找到爬取网站的URL,如图

 

 ②并查询该网站的User-Agent,向下查找,就可以看见User-Agent的相关信息,如图

 

 ③将②中查询的结果添加到代码里面,在get函数里面添加headers参数,如图

 

 爬取到了数据。

 

 最后问题成功解决!!!

posted @ 2023-02-21 10:57  tuyin  阅读(786)  评论(0)    收藏  举报