随笔分类 - python模块
pyinstaller pipenv
摘要:pyinstaller 安装 pip install Pyinstaller 打包命令 pyinstaller -F -i ./logo.ico test.py 图标在线转换地址(http://www.zuohaotu.com/image-to-ico.aspx) 打包完成的exe在dist目录下
阅读全文
w3lib
摘要:html 处理之 w3lib w3lib 是 scrapy 的基础插件,用来处理html,清理文本带有HTML标签的数据; from w3lib.html import remove_tags, replace_tags remove_tags(text, which_ones=(), keep=(
阅读全文
pipreqs
摘要:pipreqs 方案一(推荐) 安装 pip install pipreqs # 在当前目录生成 pipreqs . --encoding=utf8 --force 注意 --encoding=utf8 为使用utf8编码,不然可能会报UnicodeDecodeError: 'gbk' codec
阅读全文
execjs
摘要:安装 pip install pyexecjs 先检查一下使用的引擎是否为node.js import execjs print(execjs.get().name) 运行结果: Node.js (V8) Pyexecjs运行js代码有两种方法 一、eval() eval()可以直接执行js代码 i
阅读全文
RSA
摘要:RSA 简介 RSA加密是一种非对称加密。可以在不直接传递密钥的情况下,完成解密。 这能够确保信息的安全性,避免了直接传递密钥所造成的被破解的风险。 是由一对密钥来进行加解密的过程,分别称为公钥和私钥。 公钥加密,私钥解密 两者之间有数学相关,该加密算法的原理就是对一极大整数做因数分解的困难性来保证
阅读全文
loguru 日志模块
摘要:loguru 日志模块 安装 pip install loguru 基本使用 from loguru import logger logger.debug('this is a debug message') 如果想要输出到其他的位置,比如存为文件,我们只需要使用一行代码声明 from loguru
阅读全文
SQLite
摘要:SQLite3 可使用 sqlite3 模块与 Python 进行集成。 sqlite3 模块是由 Gerhard Haring 编写的。它提供了一个与 PEP 249 描述的 DB-API 2.0 规范兼容的 SQL 接口。 您不需要单独安装该模块,因为 Python 2.5.x 以上版本默认自带
阅读全文
smtplib 邮件模块
摘要:import smtplib from email.mime.multipart import MIMEMultipart from email.mime.text import MIMEText from email.mime.application import MIMEApplication
阅读全文
tenacity 重试
摘要:tenacity 重试 简介 为了避免由于一些网络或等其他不可控因素,而引起的功能性问题。比如在发送请求时,会因为网络不稳定,往往会有请求超时的问题。 这种情况下,我们通常会在代码中加入重试的代码。重试的代码本身不难实现,但如何写得优雅、易用,是我们要考虑的问题。 这里要给大家介绍的是一个第三方库
阅读全文
BeautifulSoup 剔除 HTML script 脚本;删除指定 class标签
摘要:BeautifulSoup 剔除 HTML script 脚本,删除指定 class标签 剔除 script 方式一: [s.extract() for s in soup("script")] 方式二: def H5_filter(self): ''' 对爬取的 H5 进行过滤 :return:
阅读全文
faker 随机生成库
摘要:faker 随机生成库 简介 faker是一个Python包,为您生成你所需要的任何(假)数据 安装 pip install faker 创建 Faker 对象 from faker import Faker fake = Faker() 随机生成一个名字 fake.name() # Mary St
阅读全文
argparse 命令行参数解析包
摘要:简介 argparse 是python自带的命令行参数解析包,可以用来方便地读取命令行参数,当你的代码需要频繁地修改参数的时候,使用这个工具可以将参数和代码分离开来,让你的代码更简洁,适用范围更广 使用方法 导入 argparse 创建 ArgumentParser 对象,可添加描述(descrip
阅读全文
hpptx
摘要:httpx 简介 一个用于 http 请求的模块,类似于 requests、aiohttp; 既能发送同步请求(是指在单进程单线程的代码中,发起一次请求后,在收到返回结果之前,不能发起下一次请求),又能发送异步请求(是指在单进程单线程的代码中,发起一次请求后,在等待网站返回结果的时间里,可以继续发送
阅读全文
urllib
摘要:urllib import urllib.parse def __get_url(self, path): return urllib.parse.urljoin(self.__endpoint, path) >>>from urllib.parse import urljoin >>>urljoi
阅读全文
Click 命令行神器
摘要:Click 命令行神器 在Python开发和测试过程中主要有两种模式可以选择:脚本模式、命令行模式。在代码的开发和调试过程中使用脚本模式还是很方便的,尤其接触pycharm、eclipse这类强大的IDE,或者配合vs code这种综合的文本编辑器。但是如果使用纯文本编辑器,或者是在做整个系统开发时
阅读全文
platform 获取操作系统的信息
摘要:platform 获取操作系统的信息 import platform platform.platform() #获取操作系统名称及版本号,'Windows-7-6.1.7601-SP1' platform.version() #获取操作系统版本号,'6.1.7601' platform.archit
阅读全文
pynput Python控制键盘,假如你女朋友不回你消息,你可以这么玩
摘要:pynput 鼠标键盘按键精灵 官方网址:https://pypi.org/project/pynput/ 查询其详细API文档,可以参考 https://pynput.readthedocs.io/en/latest/index.html pynput这个库让你可以控制和监控输入设备。 对于每一种
阅读全文
Pillow
摘要:模块介绍 Pillow是PIL的一个派生分支,但如今已经发展成为比PIL本身更具活力的图像处理库。pillow可以说已经取代了PIL,将其封装成python的库(pip即可安装),且支持python2和python3,目前最新版本是3.0.0。 常用功能 在日常应用过程中,使用最多的是 pillow
阅读全文
pytesseract
摘要:介绍 Tesseract-OCR 是一款由HP实验室开发由Google维护的开源OCR(Optical Character Recognition , 光学字符识别)引擎。与Microsoft Office Document Imaging(MODI)相比,我们可以不断的训练的库,使图像转换文本的能
阅读全文
gitpython 操作 git 仓库
摘要:[TOC] 能够让你通过 python 代码操作 git 仓库 安装 基本使用 更多操作 对模块的诸多功能进行一个封装 代码发布概述图 ps:当服务器特别多的时候,从同一个地方下载数据回出现压力过大的情况(上传者只有一个,下载者有N多个,上传者压力太大) 如何解决这种问题??? 比特流技术 将所有人
阅读全文