摘要:
介绍 使用requests可以模拟浏览器的请求,比起python内置的urllib模块,requests模块的api更加便捷(本质就是封装了urllib3) 注意:requests库发送请求将网页内容下载下来以后,并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求 安装 > 阅读全文
posted @ 2019-11-25 16:45
waller
阅读(188)
评论(0)
推荐(0)
摘要:
什么是上网?爬虫要做的是什么? 我们所谓的上网便是由用户端计算机发送请求给目标计算机,将目标计算机的数据下载到本地的过程。 用户获取网络数据的方式是: 浏览器提交请求->下载网页代码->解析/渲染成页面。 而爬虫程序要做的就是: 模拟浏览器发送请求->下载网页代码->只提取有用的数据->存放于数据库 阅读全文
posted @ 2019-11-25 15:18
waller
阅读(316)
评论(0)
推荐(0)

浙公网安备 33010602011771号