25.2.9（爬虫学习5）

五、爬虫常见问题及解决方案

1. 网页反爬机制

有些网站不允许爬虫访问,通常会通过检测请求头或IP地址来防止爬虫访问.为了绕过这种限制,我们可以伪装成正常用户.

解决方法：添加请求头

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
 
response = requests.get(url, headers=headers)

2. 延迟访问

频繁访问某个网站可能会触发反爬机制,我们可以通过设置延迟避免这种问题.

import time
 
# 延迟2秒后发送下一个请求
time.sleep(2)

3. 代理IP

如果网站通过检测IP地址限制访问,我们可以使用代理IP.

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'https://10.10.1.10:1080',
}
 
response = requests.get(url, proxies=proxies)