Python爬取数据插入mysql(简易记录)

import mysql.connector
import requests
from lxml import html

# 连接 MySQL 数据库
db = mysql.connector.connect(
    host="？",
    user="？",       
    password="？",
    database="？"
)

cursor = db.cursor()

company_url = "网址"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}

# 发送请求
response = requests.get(company_url, headers=headers)

if response.status_code == 200:
    # 使用 lxml 解析 HTML 内容
    tree = html.fromstring(response.content)

    # 使用 XPath 查找公司名称
    company_name_element = tree.xpath('/html/body/div[1]/div/div[3]/div/div[1]/div[1]/div[2]/div[1]/div[1]/div[2]/div[1]/div[1]/h1/span/text()')

    if company_name_element:
        company_name = company_name_element[0].strip()  # 获取 XPath 返回的第一个结果并去除多余空白 
        print(f"公司名称: {company_name}")

        # 插入数据到 MySQL 数据库
        cursor.execute("INSERT INTO companies (company_name) VALUES (%s)", (company_name,))
        db.commit()  # 提交事务
        print("公司名称已保存到数据库")
    else:
        print("未找到公司名称")
else:
    print("请求失败，状态码:", response.status_code)

# 关闭数据库连接
cursor.close()
db.close()

 

 

注：仅供学习交流