07 2020 档案
摘要：今天安装库直接超了虚拟机的存储量 所以，万能的百度帮助了我Gparted 下载先 sudo apt-get install gparted 这里先右键自己的/dev/sda2 直接编辑大小拉满，这样下面也可以拉满了
阅读全文
摘要：返回的值： minVal：最小值 maxVal：最大值 minLoc：最小值的位置 maxLoc：最大值的位置
阅读全文
摘要：对于单个节点的隐藏图片或者隐藏的属性可以使用 已用在验证码滑块识别上 1 def execute_js(self, js): 2 """ 3 执行js 4 :param js: str 待执行的js 5 :return: {"type": "xxx", value: "xxx"} 6 """ 7 r
阅读全文
摘要：matchTemplate(image, templ, method, result=None, mask=None)image:表示等待搜索的图像templ：就是需要在image里面找的元素method：计算的匹配方法result：匹配结果图像 如果image=[W,H] templ=[w,h]
阅读全文
摘要：https://download.pytorch.org/whl/torch_stable.html 这里直接下换源更快
阅读全文
摘要：1 def ease_out_expo(self, x): # 现在用的！ 2 if x == 1: 3 return 1 4 else: 5 return 1 - pow(2, -12 * x) # 次数越高成功率越高
阅读全文
摘要：原因：执行js： 1 window.navigator.webdriver selenium模拟登录返回ture 正常返回 undefined 1 from selenium.webdriver import Chrome 2 from selenium.webdriver import Chrom
阅读全文
摘要：pymongo操作 MongoDB的一些方法： .数据库.表.delete_one( ) .数据库.表.insert_one( ) 新增一条 字典类 .数据库.表.insert_many( ) 新增多条 字典类 .数据库.表.replace_one( ) .数据库.表.update_one( ) .
阅读全文
摘要：在获得目标节点同兄弟节点后 ./following-sibling::兄弟标签名[1] 下面一个兄弟节点 ./following-sibling::*[N] 下面N个性的节点 ./preceding-sibling::兄弟标签名[1] 上面一个兄弟节点 ./following-sibling::*[
阅读全文
摘要：Redis的安装使用： 1 sudo apt-get install redis-server 2 3 查看帮助命令 4 redis-server --help 5 6 编辑Redis配置⽂件 7 sudo vim /etc/redis/redis.conf 8 将daemonize no改为 da
阅读全文
摘要：因为刚好在学习线程 队列Queue的过程中发现了 队列中的 .join() 和 .task_done() 查看官方的源码得到注释： task_done(): 表示当前队列的任务已经完成！ 对于每个用于获取任务的get（），对task_done（）的后续调用告诉队列任务完成了。 注释：相当于会返回！再
阅读全文
摘要：1.正则表达式的简介 1.1 概念 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑 1.2 正则表达式的应用场景 表单验证(例如 : 手机号、邮箱、身份证.... ) 爬虫 2.
阅读全文
摘要：1. 元组简介 元组基本介绍 元组表现形式tuple 元组是⼀个不可变序列(⼀般当我们希望数据不改变时，我们使⽤元组，其他 情况下基本都⽤列表) 使⽤()创建元素 元组不是空元组⾄少有⼀个 逗号(,) 当元组不是空元组时括号可以省略 元组解包指将元组当中的每⼀个元素都赋值给⼀个变量 2. 字典简介
阅读全文
摘要：如果我要数据 又多列dataframe 变成 全部为"," 分隔的列表集合 就用 values再取tolist~k_line = data.loc[:,["open","close","low","high"]].values.tolist()
阅读全文
摘要：win 上面记得初配置要写个文件： @echo off "C:\Python38\python.exe" "C:\Python38\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9 默认在scrapy.cfg中 是 [deploy] url = h
阅读全文
摘要：首先自己想要的item： 1 import scrapy 2 3 4 class WeiboItem(scrapy.Item): 5 6 rank = scrapy.Field() 7 title = scrapy.Field() 8 hot_totle = scrapy.Field() 9 tag
阅读全文
摘要：如果是取到 series类型的，比如 直接用series构造的 或者从DataFrame ['columns_name'] 都可以 .str. 方法（） 常用： len（） 计算字符串长度 strip() 两侧删除空格，换行符 split(’ ') 用给定的来分隔里面的元素
阅读全文
摘要：1. 序列（sequence） 1.1 基本概念 序列是Python中最基本的⼀种数据结构。序列⽤于保存⼀组有序的数据，所 有的数据在序列当中都有⼀个唯⼀的位置（索引）并且序列中的数据会按照添加的顺序来分配索引 数据结构指计算机中数据存储的⽅式 1.2 序列的分类 可变序列（序列中的元素可以改变）：
阅读全文
摘要：1. urllib.request模块 1.1 版本 python2 ：urllib2、urllib python3 ：把urllib和urllib2合并,urllib.request 1.2 常用的方法 urllib.request.urlopen("URL") 作用 ：向网站发起一个请求并获取响
阅读全文
摘要：1. 条件判断语句(if语句) 执⾏的流程： if语句在执⾏时，会先对条件表达式进⾏求值判断， 如果为True，则执⾏if后的语句 如果为False，则不执⾏ 语法：if 条件表达式 : 代码块 代码块代码块中保存着⼀组代码，同⼀个代码块中的代码，要么都执⾏要么 都不执⾏ 代码块以缩进开始，直到代码
阅读全文
摘要：1.通讯协议 1.1 端口 我们想要进行数据通讯分几步? 1. 找到对方ip 2. 数据要发送到对方指定的应用程序上。为了标识这些应用程序,所以给这些网络应用程序都用数字进行了标识。为了方便称呼这个数字,叫做 端口。这里的端口 我们一般都叫做 '逻辑端口' 3. 定义通讯规则。这个通讯规则我们一般称
阅读全文
摘要：1. 运算符 1.1 运算符的概念 运算符⽤于执⾏程序代码运算，会针对⼀个以上操作数项⽬来进⾏运算。例 如：2+3，其操作数是2和3，⽽运算符则是“+” 1.2 运算符的分类 算术运算符 赋值运算符 ⽐较运算符（关系运算符） 逻辑运算符 条件运算符（三元运算符） 2. 算术运算符 加法运算符 表现形
阅读全文
摘要：现在使用 雪球网 对股票的各项数值进行爬取 雪球网中爬取的信息存储比较奇怪，需提取 其中字典，在这里使用提取沪市的部分股票为例，由于雪球网的数据基本可通过 关键词搜索 索引+1 来获取，所以在这里我就用简易XPath 注意：之前选择正则取数据有坑，因为其数据的text分布不同，所以最好用查找关键词的
阅读全文
摘要：记录原文：https://wxpy.readthedocs.io/zh/latest/bot.html
阅读全文
摘要：APScheduler 因为想要循环调取某一函数，并且可以更加精细化的控制，任务查询需要跨平台运行，最好使用这种定时任务框架。 apscheduler 提供了基于日期，固定时间间隔以及 crontab 类型的任务，我们可以在主程序的运行过程中快速增加新作业或删除旧作业。 安装 pip install
阅读全文
摘要：1. 几个概念 1.1 表达式 表达式，是由数字、算符、数字分组符号（括号）、⾃由变量和约束变量等 以能求得数值的有意义排列⽅法所得的组合 表达式特点 表达式⼀般仅仅⽤于计算⼀些结果，不会对程序产⽣实质性的影响 如果在交互模式中输⼊⼀个表达式，解释器会⾃动将表达式的结果输出 1.2 语句 ⼀个语法上
阅读全文
摘要：首先总结坑： 1、关于浏览器分辨率有关的截图 2、关于浏览器位置点击（分辨率） 3、注意当前时间的 请求 URL 的cookie 值！！ 思路： 1、首先分析12306 登录界面 2、将页面截取为图片 3、取得图片的位置 通过 先打开图片Image.open（）， crop（左，上，右，下）-->用
阅读全文
摘要：收集一些国内免费代理 网站地址： 厂商名称状态更新速度可用率是否被墙地址 无忧代理 可用 几分钟一次 * 否 地址 66代理 可用 更新很慢 * 否 地址 西刺代理 可用 几分钟一次 * 否 地址 全网代理 可用 几分钟一次 * 否 地址 训代理 已关闭免费代理 * * 否 地址 快代理 可用 几分
阅读全文
摘要：由于从站点获取到的数据格式存在 二维列表，所以提取出变成一维列表的集中方法记录： 1、列表推导式 ab = [[1,2,3], [4,5], [6,7,8]] print([i for item in ab for i in item]) 2、flatten from compiler.ast im
阅读全文
摘要：类方法 classmethod 修饰符对应的函数不需要实例化，不需要 self 参数，但第一个参数需要是表示自身类的 cls 参数，可以来调用类的属性，类的方法，实例化对象等。 比如在class 类下 使用@classmethod 定义一个函数 一般只需要 class名.方法（）直接使用： 静态方法
阅读全文
摘要：在正常打开网页时的 Status Code 为200，当我输错验证码的时候 出现 在这里虽然不是网站请求错误， 在这里是对客户端有缓存情况下服务端的一种响应。 浅显易懂就是 12306为例 我输入错了验证码 其得到 304 是服务器实现HTTP 304 缓存功能。 304 （未修改） 自从上次请求后
阅读全文
摘要：1.Python语⾔ 1.1 Python语⾔的基本概念 Python 是⼀种极少数能兼具 简单 与 功能强⼤ 的编程语⾔。你将惊异于发现你正在使⽤的这⻔编程语⾔是如此简单，它专注于如何解决问题，⽽⾮拘泥于语法与结构 官⽅对 Python 的介绍如下： Python 是⼀款易于学习且功能强⼤的编程语
阅读全文
摘要：1. 计算机基本概念 1.1 计算机是什么？ 计算机（computer）俗称电脑，是现代⼀种⽤于⾼速计算的电⼦计算机器 特点 : 数值计算 逻辑计算 存储记忆功能 总结 : 能够按照程序运⾏、⾃动、⾼速处理数据的现代化智能电⼦设备 1.2 计算机的组成? 硬件:⿏标 键盘 显示器 CPU 硬盘...
阅读全文
摘要：在调用 with cond 之后才能调用wait和notify方法在condition 里面有两层锁，一把锁会在线程调用wait方法的时候释放，上面的锁会在每次调用wait的时候分配一把并放入cond中的等待队列中，知道notify方法唤醒 此处唤醒的进程时随机！！！ 聊天尝试对两个进程互相切换的实
阅读全文
摘要：compile() 函数将一个字符串编译为字节代码。 compile(source, filename, mode[, flags[, dont_inherit]]) 参数 source -- 字符串或者AST（Abstract Syntax Trees）对象。。 filename -- 代码文件名
阅读全文
摘要：dumps是将dict转化成str格式，loads是将str转化成dict格式。
阅读全文
摘要：Redis Rpush 命令用于将一个或多个值插入到列表的尾部(最右边)。 如果列表不存在，一个空列表会被创建并执行 RPUSH 操作。 当列表存在但不是列表类型时，返回一个错误。 注意：在 Redis 2.4 版本以前的 RPUSH 命令，都只接受单个 value 值。
阅读全文
摘要：urlencode() 传入参数类型：字典 功能：将存入的字典参数编码为URL查询字符串，即转换成以key1=value1&key2=value2的形式 导入：from urllib.parse import urlencode Ps：url单个字符串编码用quote()函数
阅读全文
摘要：Python List insert()方法 Python 列表 描述 insert() 函数用于将指定对象插入列表的指定位置。 语法 insert()方法语法： list.insert(index, obj) 参数 index -- 对象 obj 需要插入的索引位置。 obj -- 要插入列表中的
阅读全文
浙公网安备 33010602011771号