摘要： charles 重发 笔》 修改响应内容 Map Local/ Map Remote appium 通过inspect或者python调试 定位元素 from appium import webdriver from selenium.webdriver.common.by import By se 阅读全文

摘要： 单个存储要df = pd.DataFrame(data, index=[0]) 多个存储 df = pd.DataFrame(data) 阅读全文

摘要： 1. 命令行 创建 cd xx scrapy startproject <文件夹名> [dir] cd 文件目录 scrapy genspider <文件名> <域名> scrapy crawl <文件名> shell命令 scrapy shell 网址 2. 每个模块 spiders 定义的详细爬 阅读全文

摘要： 创建Selector对象 from parsel import Selector html 可以是请求某个网页的源码，也可以是html，xml格式的字符串 selector = Selector(html) .css/.xpath/.re 提取数据 get()\getall() re\re_fris 阅读全文

摘要： JWT一般是Base64加密的字符串，以"."分割为三部分，分别为：Header、Payload、Signature Header: JWT的签名算法(RSA、SHA256等），可能包含JWT类型和编号其他数据 Payload： 业务需要的不敏感信息（UserID），默认字段 Signature: 阅读全文

摘要： 插入数据 result = collection.insert_one(students) result = collection.insert_many([students]) 查询数据 result = collection.find_one({'name': 'Mike'}) # 大于20 r 阅读全文

摘要： Engine（引擎）：负责处理数据的流转和逻辑处理 == 处理器 Scheduler（调度器）：负责request请求的调动规则 Spiders（蜘蛛）：负责站点的爬取逻辑和页面解析规则 Spider Middlewares：负责实现Spiders和Engine的之间的item和request处理 阅读全文

摘要： 代码生成器： playwright codegen -o script.py -b chromium (-device iphone11) 移动端： from playwright.sync_api import sync_playwright with sync_playwright() as p 阅读全文

摘要： 1. 基本使用 browser.current_url browser.get_cookies() browser.page_source 2. 定位元素 from selenium.webdriver.common.by import By input_first = browser.find_e 阅读全文

摘要： 用soup.select方法 # panel节点内部的panel—heading节点 print(soup.select('.panel .panel-heading')) # ul里面的li print(soup.select('ul li')) # id为list-2的内部element节点 p 阅读全文