2023年9月18日
还是request 香啊，总之，urllib，urllib3，requests总有一个管用。可以结合GPT多角度尝试
摘要： import requests from lxml import etree def create_request(page): if page == 1: url = 'http://www.zhb.org.cn/hbzx/news_2' else: url = 'http://www.zhb.o 阅读全文
posted @ 2023-09-18 20:52 热爱工作的宁致桑 阅读(23) 评论(0) 推荐(0)
改进了headers的爬虫（Cookies）
摘要： import urllib.request from lxml import etree def create_request(page): if page == 1: url = 'http://www.chinaeol.net/hjxw/gnxw' else: url = 'http://www 阅读全文
posted @ 2023-09-18 20:07 热爱工作的宁致桑 阅读(16) 评论(0) 推荐(0)
一个稍微用了下selenium的爬虫框架
摘要： from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By from selenium.webdriver.chr 阅读全文
posted @ 2023-09-18 19:19 热爱工作的宁致桑 阅读(14) 评论(0) 推荐(0)