摘要: BeautifulSoup库解析器 解析器 使用方法 条件 bs4的HTML解析器 BeautifulSoup(mk,'html.parser') 安装bs4库 lxml的HTML解析器 BeautifulSoup(mk,'lxml') pip install lxml lxml的XML解析器 Be 阅读全文
posted @ 2023-04-09 13:11 minormi 阅读(44) 评论(0) 推荐(0)
摘要: 爬虫中post相关 HTTP数据传输 先来看看 HTTP 是如何传输表单数据的。HTTP 是以ASCII 码传输的,建立在TCP/IP 协议之上的应用层规范。规范把 HTTP 请求分为三个部分: 状态行、请求头、消息主体 。类似于下面这样: <method> <url> <version> <hea 阅读全文
posted @ 2023-03-31 16:53 minormi 阅读(57) 评论(0) 推荐(0)
摘要: 自己爬虫新手实验 必应关键词搜索 import requests try: url="https://cn.bing.com/search" keyword="计算机组成原理" wk={'q':keyword} r=requests.get(url,params=wk,timeout=30) r.r 阅读全文
posted @ 2023-03-30 20:03 minormi 阅读(46) 评论(0) 推荐(0)
摘要: requests库 requests 是⽤Python语⾔编写,基于urllib,采⽤Apache2 Licensed开源协议的 HTTP 库。它⽐ urllib 更加⽅便,可以节约我们⼤量的⼯作,完全满⾜HTTP测试需求。 安装Requests库 命令行安装:pip install request 阅读全文
posted @ 2023-03-21 17:12 minormi 阅读(95) 评论(0) 推荐(0)