爬虫 修改 下拉框

爬取某个网站,可以通过修改下拉框来实现数据批量加载

 

上图我们可以看到   view 下面的下拉框  的值是25 ,50 ,100 ,200。我们把200的值修改为5200,然后提交页面

 

 

 

然后直接出来所有的数据,不在需要做翻页:

 

 爽不爽啊,请求的时候注意把cookie复制到请求头里面,有些网站是通过cookie控制翻页的

 

posted @ 2018-07-17 15:57  淋哥  阅读(2505)  评论(0编辑  收藏  举报