你的小可爱吖

摘要： 简介 在某些场景下，我们需要在一瞬间插入大量数据的情况下，我们要使用一些性能比较好的方式来插入数据，这样才能保证接口的时间。下面测试的数据是1.6W条数据的时间。 sqlalchemy批量插入数据 方式一： @staticmethod def save_data(data, pg_con=None) 阅读全文

摘要： 介绍 有一些场景需要我们即做添加操作有要做修改操作，我们就可以来使用 merge 来操作这里，一下代码就是查看 key 值是否一致，如果一致则进行修改，如果不一致则进行添加。 使用 def loophole_proof(proof, company_name, pg_con=None): try: 阅读全文

摘要： 介绍 我们在开发过程中，总会与文件进行打交道。上传文件 or 下载文件。解析文件 or 生成文件。下面我们来了解一些我们经常使用的文件操作。 首先，我们后端收到的文件都是由前端通过 post form-data 来上传文件的。 文件的下载 # 获取文件 files = request.files.g 阅读全文

摘要： PostgreSQL 简介 PostgreSQL: The World's Most Advanced Open Source Relational Database PostgreSQL 世界上最先进的开源关系数据库 PostgreSQL 是一个功能非常强大的、源代码开放的客户/服务器关系型数据库 阅读全文

摘要： 常用命令 查看集群健康信息 curl -sXGET 127.0.0.1:9200/_cat/health?v curl -sXGET 127.0.0.1:9200/_cluster/health?pretty 1 绿色，最健康的状态，代表所有的分片包括备份都可用 2 黄色，基本的分片可用，但是备份不 阅读全文

摘要： 1. encode encode将字符串转换为bytes类型的对象 (即b为前缀, bytes类型), 即Ascll编码, 字节数组 >>> a0 = '哈哈' >>> b = a0.encode() >>> type(b) <class 'bytes'> >>> >>> b b'\xe5\x93\ 阅读全文

摘要： 介绍 我们知道，base16编码就是将字符用16进制表示 ’a’ =base16=> b’61’ 那么简单对16进制字符串进行base16解码即可 binascii方法： import binascii hex_str = "557365723a20746573740d0a50617373776f7 阅读全文

摘要： 介绍： 我们可以利用 redis 过期Key来实现接口的频次限制。可以自定义一些访问的(速度)限制条件来把那些触发限制的请求拒之门外.一般常用来进行对爬虫的限制. 下面就利用 redis 来实现了一个简单的案例： 装饰器实现 def frequency_limit(f): @wraps(f) def 阅读全文

摘要： flask-limiter - 第三方控频插件 官方文档：FlaskLIMITER。 flask-limiter 是一个对客户端的访问速率进行限制的flask扩展.可以自定义一些访问的(速度)限制条件来把那些触发限制的请求拒之门外.一般常用来进行对爬虫的限制. 下面就常见的用法,举了一些例子.更多的 阅读全文

摘要： 问题 在安装PIL的时候会发生一些问题 PIL是Python平台事实上的图像处理标准库，支持多种格式，并提供强大的图形与图像处理功能。目前PIL的官方最新版本为1.1.7，支持的版本为python 2.5, 2.6, 2.7，并不支持python3，因此我们用pillow代替，进入DOS命令行窗口， 阅读全文