初学者如何用 Python 写第一个爬虫？

网页爬虫是一种通过程序自动抓取网页数据的技术。对于初学者来说，使用 Python 写一个简单的爬虫是一个很好的入门项目。Python 提供了许多强大的工具和库，如 requests 和 BeautifulSoup，可以帮助快速实现网页数据的爬取。

在本文中，我们将从爬虫的基本概念开始，逐步实现一个可以抓取网页内容的简单爬虫，并探讨如何改进爬虫以应对复杂场景。我们将从以下几个方面展开：

一、爬虫的基本概念

1. 爬虫的定义
   爬虫（Web Crawler）是一种自动化脚本或程序，它会模拟用户访问网页的行为，从而提取网页中的特定内容。

2. 爬虫的主要工作流程
   一个典型的爬虫任务通常包括以下步骤：

发送请求：通过 HTTP 协议访问目标网页，获取其 HTML 内容。

解析数据：对获取到的 HTML 进行解析，提取我们需要的数据。

存储数据：将提取到的数据保存到文件或数据库中，便于后续处理。

3. 常用 Python 工具
   requests：发送 HTTP 请求，获取网页内容。

BeautifulSoup：解析 HTML 或 XML 数据，提取特定内容。

re（正则表达式）：对复杂文本模式进行匹配和提取。

pandas：对数据进行清洗和分析。

二、环境准备

1. 安装 Python
   确保你的计算机上已经安装了 Python（推荐使用 3.7 及以上版本）。如果尚未安装，可以从 Python 官方网站 下载并安装。

2. 安装必要库
   打开命令行或终端，运行以下命令安装我们需要的 Python 库：

pip install requests beautifulsoup4
1
requests：用于发送 HTTP 请求。

beautifulsoup4：用于解析 HTML 数据。

三、写第一个简单的爬虫
我们来实现一个简单的爬虫，它将抓取某个网页的标题和正文内容。

1. 完整代码示例
   以下代码实现了一个基本的爬虫：

import requests
from bs4 import BeautifulSoup

def simple_crawler(url):
try:
# 1. 发送请求
response = requests.get(url)
response.raise_for_status() # 检查请求是否成功

    # 2. 解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')

    # 3. 提取标题和段落内容
    title = soup.find('title').text  # 获取网页标题
    paragraphs = soup.find_all('p')  # 获取所有段落内容

    print(f"网页标题: {title}

")
print("网页内容:")
for p in paragraphs:
print(p.text)

except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")

示例网址

url = "https://example.com" # 替换为你想爬取的网页地址
simple_crawler(url)

2. 代码逐步解析
   1）发送 HTTP 请求
   response = requests.get(url)
   1
   使用 requests.get() 方法向目标网址发送 GET 请求。

返回的 response 对象包含网页的所有内容，包括 HTML 源代码。

2）检查请求状态
response.raise_for_status()
1
通过 raise_for_status() 检查请求是否成功。如果返回的 HTTP 状态码表示错误（如 404 或 500），会抛出异常。
3）解析 HTML 数据
soup = BeautifulSoup(response.text, 'html.parser')
1
BeautifulSoup 用于解析 HTML 内容，并将其转化为 Python 对象，方便后续操作。

第二个参数 'html.parser' 指定使用 Python 内置的 HTML 解析器。

4）提取网页内容
title = soup.find('title').text
paragraphs = soup.find_all('p')

find('title') 方法返回