2020 年 9月 13 日随笔档案 - 凹凸曼大人

2020年9月13日

摘要： # -*- coding: utf-8 -*- ''' 这是一个抓取IP大全，可以自动抓取好几个网站IP。 scrapy crawl daili -s JOBDIR=crawls/somespider-1 这样启动然后，你就能在任何时候安全地停止爬虫(按Ctrl-C或者发送一个信号)。恢复这个爬虫阅读全文

posted @ 2020-09-13 22:19 凹凸曼大人阅读(437) 评论(0) 推荐(0)

检测抓到的IP是否可用，经常过滤，免费IP随时实效

摘要： import requests import time import threading from queue import Queue import random import sys def getheaders(): user_agent_list = [ "Mozilla/5.0 (Wind 阅读全文

posted @ 2020-09-13 22:13 凹凸曼大人阅读(245) 评论(0) 推荐(0)

python 添加随即user_agent和随即IP来抓取前提自己先抓去好IP并且测验好可用并添加IP失败后使用其他IP重试

摘要： #在middlewares 件中添加以下类实现随即 user_AGENT class NovelUserAgentMiddleWare(object): #随即user_AGENT def __init__(self): self.user_agent_list = [ "Mozilla/5.0 阅读全文

posted @ 2020-09-13 22:11 凹凸曼大人阅读(176) 评论(0) 推荐(0)

python 里的split用法

摘要： with open('IP.txt', 'r', encoding="utf-8") as f:#打开IP的地址读取 txt = f.read() return random.choice(txt.split('\n')) #反馈合成列表随即选择一个 ’'' 例如： IP.txt 里的内容随即阅读全文

posted @ 2020-09-13 21:58 凹凸曼大人阅读(754) 评论(0) 推荐(0)

凹凸曼大人

公告