摘要：分了3个文件， -config 存放一些信息及配置 -proxy_pool 抓取代理 -get_mzitu 爬取网页 使用前需要安装redis数据库 https://redis.io/download config文件 #设置user_agent条目 USER_AGENTS = [ "Mozilla 阅读全文

摘要：cannot unpack non-iterable NoneType object 解决方法：报错的原因是函数返回值得数量不一致，查看函数返回值数量和调用函数时接收返回值的数量是不是一致，修改一致即可 阅读全文

摘要：#导入库 import os import requests from bs4 import BeautifulSoup import time from config import * import random import re from requests import ConnectionE 阅读全文

摘要：导入模块 import requests from requests import ConnectionError import random import re 定义headers生成器 def get_header(): USER_AGENT_LIST = [ "Mozilla/5.0 (Win 阅读全文

摘要：用my_fake_useragent生成headers import random from my_fake_useragent import UserAgent def gererateUserAgent(): headers = {} headers_list = ua.get_useragen 阅读全文