16-spider work - 随笔分类 - 守护式等待

plawright过抖音手机号登录验证

摘要：import httpx import random import asyncio import ddddocr from PIL import Image from io import BytesIO from loguru import logger from playwright.async_ 阅读全文

posted @ 2024-04-08 17:21 守护式等待阅读(366) 评论(0) 推荐(0)

新闻类网页抽取

该文被密码保护。

posted @ 2023-11-14 16:50 守护式等待阅读(3) 评论(0) 推荐(0)

utils

摘要：1.kills.sh #!/bin/sh NAME=$1 # $1 运行时输入参数为文件名称 if [ -z "$NAME" ]; then echo "STRING is empty" NAME="aa" fi echo $NAME ID=`ps -ef | grep "$NAME" | gre 阅读全文

posted @ 2023-06-05 11:11 守护式等待阅读(541) 评论(0) 推荐(0)

滑块缺口位置识别

该文被密码保护。

posted @ 2023-03-01 09:16 守护式等待阅读(228) 评论(0) 推荐(0)

极验二代滑块验证码

摘要：# -*- coding:utf-8 -*- import os import random import re import ssl import time from urllib.request import urlretrieve import undetected_chromedriver 阅读全文

posted @ 2023-03-01 09:05 守护式等待阅读(117) 评论(0) 推荐(0)

oss 常用语句

摘要：oss 常用语句 # -*- coding: UTF-8 -*- ''' @Project ：03-crawler @File ：oss.py @Author ：yucaifu @Date ：2024/3/26 16:18 @Description : ''' # https://help.aliy 阅读全文

posted @ 2022-11-16 13:58 守护式等待阅读(57) 评论(0) 推荐(0)

浏览器生成cookie下次继续使用这cookie selenium undetected_chromedriver

摘要：# -*- coding:utf-8 -*- import json import os import ssl import sys import time import undetected_chromedriver as uc from selenium import webdriver pat 阅读全文

posted @ 2022-09-05 11:01 守护式等待阅读(576) 评论(0) 推荐(0)

多进程和多线程结合跑满cpu

摘要：import json import multiprocessing import threading import time import random import requests import urllib3 lock = threading.RLock() urllib3.disable_ 阅读全文

posted @ 2022-09-05 10:59 守护式等待阅读(124) 评论(0) 推荐(0)

nginx和java示例

摘要：nginx upstream miao_server { #server 192.168.209.53:8080 max_fails=2 fail_timeout=10s; #server 192.168.209.54:8080 max_fails=2 fail_timeout=10s; serve 阅读全文

posted @ 2022-06-06 14:50 守护式等待阅读(77) 评论(0) 推荐(0)

papunika

摘要：import os import ssl import sys import time import pymysql import undetected_chromedriver as uc from selenium import webdriver path = os.path.dirname( 阅读全文

posted @ 2022-05-06 13:55 守护式等待阅读(426) 评论(0) 推荐(0)

获取百度指数

摘要：1.安装包 pip3.6 install baidux -i https://mirrors.aliyun.com/pypi/simple 2.简单使用 from baidux.utils import test_cookies from baidux import config from baid 阅读全文

posted @ 2021-03-16 10:21 守护式等待阅读(506) 评论(0) 推荐(0)

Python 自动化神器 Playwright

摘要：最近，微软开源了一个项目叫「playwright-python」，作为一个兴起项目，出现后受到了大家热烈的欢迎，那它到底是什么样的存在呢？今天为你介绍一下这个传说中的小白神器。 Playwright 是针对 Python 语言的纯自动化工具，它可以通过单个API自动执行 Chromium，Firef 阅读全文

posted @ 2021-01-04 11:28 守护式等待阅读(6943) 评论(0) 推荐(0)

pytube

摘要：YouTube视频下载 import logging import os import sys from pytube import YouTube # python3.6 -m pip install pytube from spider_setting import REQUESTS_PROXI 阅读全文

posted @ 2020-12-25 10:00 守护式等待阅读(199) 评论(0) 推荐(0)

steam购买游戏,支付宝或者微信

摘要：steam_purchase.py import base64 import json import logging import os import sys import time # import qrcode import requests from lxml import etree req 阅读全文

posted @ 2020-11-20 09:35 守护式等待阅读(446) 评论(0) 推荐(0)

压缩视频和图片

摘要：压缩视频和图片产生详情参考https://www.cnblogs.com/yoyo1216/p/12986050.html import sys from PIL import Image import os import zlib import threading import platform 阅读全文

posted @ 2020-05-29 15:20 守护式等待阅读(29) 评论(0) 推荐(0)

模拟qq登入获取cookie 处理验证码和扫描登入

摘要：sentemail.py 发邮件 import os import smtplib from email.header import Header from email.mime.image import MIMEImage from email.mime.multipart import MIME 阅读全文

posted @ 2020-04-23 09:52 守护式等待阅读(607) 评论(0) 推荐(0)

文章简介

摘要：文章简介 text = """ 来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！ 4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、副台长赵刚在致辞一开始更是送上白居阅读全文

posted @ 2020-03-18 15:35 守护式等待阅读(189) 评论(0) 推荐(0)

解析二维码

摘要：解析二维码 import os import requests from io import BytesIO from pyzbar import pyzbar from PIL import Image, ImageEnhance def get_ewm(img_adds): """ 读取二维码的阅读全文

posted @ 2019-12-19 14:25 守护式等待阅读(152) 评论(0) 推荐(0)

qq cookie

摘要：qq cookie from selenium import webdriver from selenium.webdriver import ActionChains import time, re, os, requests from PIL import Image def get_cooki 阅读全文

posted @ 2019-12-19 14:20 守护式等待阅读(102) 评论(0) 推荐(0)

steamdb cookie

摘要：steamdb cookie import requests, re, os, pymysql, time from lxml import etree from steamdb.YDM import YDMHttp # MYSQL_HOST = '192.168.107.229' # MYSQL_ 阅读全文

posted @ 2019-12-19 14:18 守护式等待阅读(89) 评论(1) 推荐(0)

随笔分类 - 16-spider work