爬虫之re模块与requests模块

re模块

findall(正则，文本数据)

在匹配的时候是全局匹配，不会因为匹配到一个就停止。

返回的结果是一个列表，内部包含正则匹配到的所有的内容。

import re

s = """
eva jyb tony yuan 
　　jyb jyb
　　　　jyb a
"""
ret = re.findall('j.*?n', s) # 返回所有满足匹配条件的结果,放在列表里 
print(ret)

　　

 

finditer(正则，文本数据)--暂时了解即可

返回的结果是一个迭代器，只有主动索要才会产生数据，否则永远只占一块空间。

import re

s = """
eva jyb tony yuan 
    jyb jyb
        jyb a
"""
res = re.finditer('j.*?n', s)
for i in res:
    print(i.group())

 

匹配到一个符合条件的数据就结束

import re

s = """
eva jyb tony yuan 
    jyb jyb
        jyb a
"""
res = re.search('j.*?n', s)
print(res)

 

只能从头开始匹配，头部不符合直接停止

import re

s = """
eva jyb tony yuan 
    jyb jyb
        jyb a
"""
res1 = re.match('j.*?n', s)
print(res1)

 

findall分组优先展示

会优先展示括号内正则表达式匹配到的内容。

import re
# 分组优先
ret = re.findall('www.(oldboy).com', 'www.oldboy.com')
print(ret)

 

取消分组优先

import re

# 取消分组优先
ret1 = re.findall('www.(?:oldboy).com', 'www.oldboy.com')
print(ret1)

ret2 = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret2)

 

requests模块

作用

可以模拟浏览器发送网络请求获取数据。

下载

pip3 install requests

由于下载较慢，建议换源再下载。

导入使用

import requests

 

网络请求方法

一般有八个网络方法，目前只需要掌握两个。

get请求

朝别人索要数据。

eg:浏览器地址栏输入百度网址回车其实就是在发送get请求朝百度服务器索要百度首页。

get请求也可以携带额外的数据，但是数据量有限制最多2~4KB，并且是直接写在网址的后面。

url?xx=yy&zz=kk

 

post请求

朝别人提交数据

eg:用户注册登录需要输入用户名和密码之后点击按钮发送post请求将数据提交给远程服务器。

post请求也可以携带额外的数据，并且数据大小没有限制，敏感性的数据都是由post请求携带。

数据放在请求体中

 

HTTP协议

规定了浏览器与服务端之间数据交互的方式。

四大特性

基于请求响应

基于TCP、IP作用于应用层之上的协议。

无状态：即不保存客户端的状态。

无连接

 

数据请求格式

请求数据格式

请求首行（请求方法，地址......）

请求头（一大堆K:V键值对）

请求体（get请求没有请求体，post请求有，里面是敏感数据）

 

响应数据格式

响应首行（响应状态码，协议版本）

响应头（一大堆K:V键值对）

 

响应状态码

用简单的数字来表示一串中文意思

1XX

服务端已经成功接收到了你的数据正在处理，你可以继续提交或者等待。

2XX

请求成功服务端发送了响应。

3XX

重定向(原本想访问A页面但是内部自动跳到了B页面)

4XX

403请求不符合条件    404请求资源不存在

5XX

服务器内部错误

 

公司还会自己自定义响应状态码(HTTP的状态码太少不够用)

参考网站：聚合数据：https://www.juhe.cn/docs

 

requests模块基本使用

发送网络请求
	import requests
    requests.get(url)  # 发送get请求
    requests.post(url)  # 发送post请求
    
# 1.简单的get请求获取页面并报错
    import requests
    # 朝百度发送get请求获取首页数据
    res = requests.get('https://www.baidu.com/')
    # print(res.status_code)  # 获取响应状态码
    # 指定字符编码
    # res.encoding = 'utf8'
    # print(res.text)  # 获取网页字符串数据
    # print(res.content)  # 获取bytes类型的数据(在python中可以直接看成是二进制)
    with open(r'baidu.html', 'wb') as f:
        f.write(res.content)
    
 
# 2.携带参数的get请求
	requests.get(url,params={})
  
# 3.如何携带请求头数据
	requests.get(url,headers={})

 

防爬措施

校验当前请求是否是浏览器发出的

用于校验的核心就在于请求头里面的User-Agent键值对

只要请求里面含有该键值对就表示你是个浏览器没有则不是浏览器

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36

 

解决措施在请求头中加上即可

requests.get(url,headers={...})