摘要: 基于requests模块发起ajax的get请求 需求:爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据 用抓包工具捉取 使用ajax加载页面的请求 鼠标往下下滚轮拖动页面,会加载更多的电影信息,这个局部刷新是当前页面发起的ajax请求, 用抓包工具捉取页面 阅读全文
posted @ 2019-08-19 23:28 minger_lcm 阅读(4031) 评论(0) 推荐(0) 编辑
摘要: 需求:爬取搜狗首页的页面数据 requests模块如何处理携带参数的get请求,返回携带参数的请求 需求:指定一个词条,获取搜狗搜索结果所对应的页面数据 之前urllib模块处理url上参数有中文的需要处理编码,requests会自动处理url编码 发起带参数的get请求 params可以是传字典或 阅读全文
posted @ 2019-08-19 18:41 minger_lcm 阅读(1490) 评论(0) 推荐(0) 编辑