摘要:
BeautifulSoup Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。 中文文档 1 安装模块 $ apt-get ins 阅读全文
posted @ 2021-11-12 18:45
yyyz
阅读(82)
评论(0)
推荐(0)
摘要:
基本介绍 1 爬虫的基本流程 模拟浏览器发送请求->下载网页代码->只提取有用的数据->存放于数据库或文件中 对每一个步骤进行分析: #1、发起请求 使用http库向目标站点发起请求,即发送一个Request Request包含:请求头、请求体等 #2、获取响应内容 如果服务器能正常响应,则会得到一 阅读全文
posted @ 2021-11-12 11:44
yyyz
阅读(266)
评论(0)
推荐(0)
摘要:
request模块 使用requests可以模拟浏览器的请求,比起之前用到的urllib,requests模块的api更加便捷(本质就是封装了urllib3) 1 安装模块 pip install requests 它支持各种请求方式,常用的就是requests.get()和requests.pos 阅读全文
posted @ 2021-11-12 10:22
yyyz
阅读(203)
评论(0)
推荐(0)