豆瓣爬取感想

日记2024-07-31

 

1.数据，这是核心，没有数据的支撑这插件就没意义了，于是我搜寻了一大波资料，发现github之前有很多关于豆瓣的开源项目，但很多都是爬评论，做评论分析，比如一部电影评论的关键词是什么之类的，又找到好像之前豆瓣有对开发者开放的接口，但是后来不知道怎么又关闭了，好在我从gpt那问到有个接口可以查电影列表，里面包含了我要的，名字、封面图、评分，这些就够了。于是我尝试用py不断请求，然后不出意外的话出了意外，在请求七八次后就给我返回403了，然后我便找python如何使用不同的ip代理请求目标接口，最后还找到一个可以免费提供两小时试用代理ip的供应商，机智的充分的使用了这免费两小时给把所有信息拿了下来。