2019年11月25日
爬虫请求库之requests库
摘要： 一、介绍 介绍：使用requests可以模拟浏览器的请求，比之前的urllib库使用更加方便 注意：requests库发送请求将网页内容下载下来之后，并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求 安装：pip install requests 常用的请求方式：requ 阅读全文
posted @ 2019-11-25 20:08 只会玩辅助 阅读(549) 评论(0) 推荐(0)
爬虫阅读目录
摘要： 爬虫目录 （一）爬虫的基本流程 （二）爬虫请求库之requests库 （三）爬虫解析库beautifulsoup （四）爬虫请求库之selenium （五） 存储库之MongoDB （六）Scrapy框架 阅读全文
posted @ 2019-11-25 15:23 只会玩辅助 阅读(189) 评论(0) 推荐(0)
爬虫的基本流程
摘要： 爬虫的基本流程 1.发送请求 使用http库向目标站点发起请求，即发送一个Request Request包含：请求头、请求体、路由等 2.获取响应内容 如果服务器能正常响应，则会得到一个Response 包含：html页面，json,图片 3.解析内容 解析html数据：正则表达式，第三方解析库如b 阅读全文
posted @ 2019-11-25 15:17 只会玩辅助 阅读(2551) 评论(0) 推荐(0)