不是霉蛋 - 博客园

2022年11月4日

摘要： # 直接识别验证码# pip install ddddocrfrom loguru import logger from ddddocr import DdddOcr ocr = DdddOcr() with open('尖叫登录验证码.png', 'rb')as f: img = f.read() 阅读全文

posted @ 2022-11-04 07:05 不是霉蛋阅读(28) 评论(0) 推荐(0)

2022年11月3日

<2> 线程池---ThreadPoolExecutor

摘要： 1 import time 2 from concurrent.futures import ThreadPoolExecutor, as_completed, ProcessPoolExecutor 3 4 5 class Spider: 6 7 executor = ThreadPoolExec 阅读全文

posted @ 2022-11-03 15:28 不是霉蛋阅读(45) 评论(0) 推荐(0)

2022年11月2日

<1> flask服务

摘要： import flask app = flask.Flask(__name_, static_folder='static', template_folder='templates') @app.route("/") def index(): return flask.render_temp1ate 阅读全文

posted @ 2022-11-02 22:53 不是霉蛋阅读(18) 评论(0) 推荐(0)

<4> pipeline

摘要： """scrapy 保存管道数据""" from scrapy.exporters import CsvItemExporter class CsvPipeline: def __init__(self): # 文件存储初始化操作 self.file = open('filename.csv', ' 阅读全文

posted @ 2022-11-02 16:30 不是霉蛋阅读(43) 评论(0) 推荐(0)

<3> MongoDB存储

摘要： from pymongo import MongoClient class Spider(object): def __init__(self): # 将数据存储到数据库中 try: self.client = MongoClient('localhost', 27017) self.sina_db 阅读全文

posted @ 2022-11-02 16:20 不是霉蛋阅读(24) 评论(0) 推荐(0)

<2> MySQL存储

摘要： import mysql.connector """数据模型类""" class QingHuaModel(object): def __init__(self, title, time, contents): self.title = title self.time = time self.con 阅读全文

posted @ 2022-11-02 16:14 不是霉蛋阅读(30) 评论(0) 推荐(0)

<1> csv 存储

摘要： """方式一（scrapy下）：""" scrapy crawl 爬虫名 -o 保存的csv文件名 """方式二(常用)：""" from scrapy.exporters import CsvItemExporter class CsvPipeline: def __init__(self): # 阅读全文

posted @ 2022-11-02 16:08 不是霉蛋阅读(39) 评论(0) 推荐(0)

2022年10月30日

<4> scrapy

摘要： 1 """1.快捷保存CSV文件""" 2 3 # 例：scrapy crawl quotes -o quotes.csv 4 scrapy crawl 爬虫名 -o 保存的csv文件名 6 """2.运行方式""" 7 8 """方式一""" 9 from scrapy import cmdlin 阅读全文

posted @ 2022-10-30 23:21 不是霉蛋阅读(29) 评论(0) 推荐(0)

<3> selenium

摘要： 1 """selenium""" 2 3 # 驱动浏览器 4 from selenium import webdriver 5 # 配置 6 from selenium. webdriver import ChromeOptions 7 # 选择器 8 from selenium. webdrive 阅读全文

posted @ 2022-10-30 23:16 不是霉蛋阅读(33) 评论(0) 推荐(0)

<2> 定义pip安装源

摘要： """定义pip安装源"""# 1.键盘操作win + r健:打开运行窗口# 2.在运行窗口中输入: %APPDATA%# 3.在文件夹路径中新建文件夹:取名为pip# 4.进入该文件夹# 5.新建pip.ini配置文件，并写入以下内容 [global] timeout = 6000 index-u 阅读全文

posted @ 2022-10-30 22:33 不是霉蛋阅读(56) 评论(0) 推荐(0)