摘要：
前言 在写web自动化的时候，很多用例是需要先登录的，为了做到每个用例的隔离，数据互不影响，一般会创建一个新的page对象。很多用例是需要先登录的，可以先登录后把cookie保存到本地，通过加载cookie的方式解决重复登录的问题。 登录认证 Playwright 在称为浏览器上下文的隔离环境中执行 阅读全文
摘要：
看这个系列的，比较全 https://www.cnblogs.com/poloyy/p/12641505.html 阅读全文
摘要：
demo gunicorn main:app -b 0.0.0.0:11223 -w 10 -k uvicorn.workers.UvicornH11Worker --daemon # 在线上先这样才能看到报错信息 uvicorn main:app --reload --host 0.0.0.0 u 阅读全文
摘要：
1. 图片下载的设置 class ClawernameSpider(scrapy.Spider): # 定制化设置 custom_settings = { 'LOG_LEVEL': 'DEBUG', # Log等级，默认是最低级别debug 'ROBOTSTXT_OBEY': False, # de 阅读全文
摘要：
下载百度图片： import asyncio import json import random import re import httpx import requests import time from urllib import parse import os from loguru imp 阅读全文
摘要：
scrapy错误：yield scrapy.Request()不执行、失效、Filtered offsite request to错误。首先我们在Request（）方法里面添加这么一个东东：yield Request(url, callback=self.parse_item, dont_filte 阅读全文
摘要：
live-server是一个具有实时加载功能的小型服务器，可以使用它来破解html/css/javascript，但是不能用于部署最终站点。也就是说我们可以在项目中实时用live-server作为一个实时服务器实时查看开发的网页或项目效果。使用live-server，首先需要安装它： npm ins 阅读全文
摘要：
一.拉取镜像 文档链接：https://playwright.dev/python/docs/docker#usage docker pull mcr.microsoft.com/playwright/python:v1.35.0-focal 二.启动容器 这边要注意限制容器日志的大小，要不然很容易 阅读全文
摘要：
如下脚本是一个微博用selenium'自动化登录的简单例子 import time from selenium import webdriver from loguru import logger from selenium.webdriver.chrome.options import Optio 阅读全文
摘要：
去年我写了一篇文章：一日一技：如何捅穿Cloud Flare的5秒盾 ，这篇文章使用的第三方库『cloudscraper』可以绕过免费版的五秒盾。但遇到付费版就无能为力了。 最近在爬币圈的网站，其中有一个网站叫做：Codebase使用的就是付费版的CloudFlare五秒盾。当我们使用CloudSc 阅读全文