爬虫破解:解决CSRF-Token反爬问题 - 上海市发展和改革委员会

标题:爬虫破解:解决CSRF-Token反爬问题 - 上海市发展和改革委员会

网址:https://fgw.sh.gov.cn/fgw-interaction-front/biz/projectApproval/home

MD5加密:ca7f5c978b1809d15a4b228198814253

需求文档

采集数据如下所示:

数据示例

解决反爬思路

这里只提供解决思路,解决反爬,有测试代码样例,没有完整的爬虫代码

尝试抓包

首先,我们可以尝试抓包分析网站的反爬机制。

  1. 进入网站,点击"项目建议书审批",然后点击下一页。

抓包示例1

  1. 找到需要的请求,发现它是一个POST请求。

posted @ 2023-10-09 10:45  jixn  阅读(32)  评论(0)    收藏  举报  来源