摘要：环境说明：Ubuntu linux64位操作系统 python@ubuntu:~$ uname -a Linux ubuntu 4.4.0-31-generic #50-Ubuntu SMPWed Jul 13 00:07:12 UTC 2016 x86_64 x86_64 x86_64 GNU/L 阅读全文

摘要：现在，我们已经把一个Web App的框架完全搭建好了，从后端的API到前端的MVVM，流程已经跑通了。 在继续工作前，注意到每次修改Python代码，都必须在命令行先Ctrl-C停止服务器，再重启，改动才能生效。 在开发阶段，每天都要修改、保存几十次代码，每次保存都手动来这么一下非常麻烦，严重地降低 阅读全文

摘要：1、为什么要写代码实现接口自动化 大家知道很多接口测试工具可以实现对接口的测试，如postman、jmeter、fiddler等等，而且使用方便，那么为什么还要写代码实现接口自动化呢？工具虽然方便，但也不足之处： 测试数据不可控制 接口测试本质是对数据的测试，调用接口，输入一些数据，随后，接口返回一 阅读全文

摘要：msgpack和protobuf的对比 msgpack的序列化速度比protobuf要快一些，但反序列化要比protobuf要慢一些，但总体都接近msgpack可以直接序列化类对象，但protobuf需要先写描述映射文件(.proto)msgpack支持的基本类型比protobuf支持的要全面些pr 阅读全文

摘要：什么是元类 我们知道，实例对象是由类来创建，那么类又是由什么来创建的呢？ 答案就是元类。 元类基本都不会用到，但是就算不用到，也应该去熟悉一下概念。 类也是对象 在大多数编程语言中，类就是一组用来描述如何生成一个对象的代码段。在Python中这一点仍然成立： In [1]: class FatBoy 阅读全文

摘要：我是听朋友提起的"蝗虫"（Locust），然而她不想用python,我就拿来试一试~ http的 各种压测工具也已经太多了，所以主要是试试locust在当前比较流行的rpc协议上的效果 目的 -- 调研locust应用于grpc协议 服务 -- grpc的helloworld 一 环境准备 1 需要 阅读全文

摘要：如果单台计算机不足以模拟所需的用户数量，那么 Locust 将支持运行分布在多台计算机上的负载测试。 为此，您可以使用该 --master 标志在主模式下启动 Locust 的一个实例。 这是将运行 Locust 的 Web 界面的实例，您可以在其中开始测试并查看实时统计信息。 主节点本身不会模拟任 阅读全文

摘要：最近有很多学Python同学问我，Python Generator到底是什么东西，如何理解和使用。Ok，现在就用这篇文章对Python Generator做一个敲骨沥髓的深入解析。 为了更好地理解产生器（Generator），还需要掌握另外两个东西：yield和迭代（iterables）。下面就迭代 阅读全文

摘要：结论：python多进程间用Queue通信时，如果子进程操作Queue满了或者内容比较大的情况下，该子进程会阻塞等待取走Queue内容(如果Queue数据量比较少，不会等待)，如果调用join，主进程将处于等待，等待子进程结束，造成死锁 解决方式：在调用join前，及时把Queue的数据取出，而且Q 阅读全文

摘要：真的是内牛满面啊，虽然4个月前就开始用gevent，但是直到今天才知道到底怎么才能设置gevent(含monkey打patch后)的超时！！ 官方文档太坑爹了，在很隐藏的一个角落里才发现这么一个类gevent.Timeout。 事情是这样的：我们常用的socket都是阻塞的，那么超时是很好设置的。但 阅读全文

摘要：本文主要介绍3个工具：pdb，objgraph，以及pympler。 1.pdbpdb是专门用于python代码调试，模仿gdb。使用pdb可以查看堆栈，打印变量等。 这里介绍的是命令行下的pdb。命令行下使用pdb，代码侵入小，调试方便。 本例中，python安装在当前目录下.venv 使用pdb 阅读全文

摘要：本次学习的教学视频来自嵩天老师的网络爬虫教学，主要学习内容有requests\BeautifulSoup\scrapy\re，目前除了scrapy其他刚好看完。并搬运实现了一些小项目如58同城租房信息爬取、淘宝搜索商品项目，现将从爬虫基本方法、实战和遇到的问题三个方面进行总结。 1.基本方法 首先就 阅读全文

摘要：背景：一个强大的软件产品是由许多不同的组件结合完成的， 其中在每一个产品中离不开的就是api系统， api系统在整个产品中居于中枢地位， 包括系统内部组件， 及客户对产品的对接都要与api打交道， 这就需要最大限度的提高api的处理能力， 并且防范无效请求， 还有黑客的恶意攻击。 限流可以在ngin 阅读全文

摘要：前言一个业务型的服务，被open接口后，遭遇并发扫数据，于是要做限流操作。一直固执的认为，业务API和OpenAPI要分开处理，或许因为起初接入其他企业ERP系统都是走较为规范的OpenAPI，始终对于这种开发系统业务API的做法感觉不好。 窗口限流需求是要在Django的一个工程里做限流，倘若是r 阅读全文

摘要：https://pypi.org/project/ratelimit/ 阅读全文

摘要：项目中用到了限流，受限于一些实现方式上的东西，手撕了一个简单的服务端限流器。 服务端限流和客户端限流的区别，简单来说就是： 1）服务端限流 对接口请求进行限流，限制的是单位时间内请求的数量，目的是通过有损来换取高可用。 例如我们的场景是，有一个服务接收请求，处理之后，将数据bulk到Elastics 阅读全文

摘要：知识点 1.lua是什么 2.redis，lua，python(java)三者的关系 3.用lua承载业务逻辑 为何加入一个lua脚本 减少网络开销。可以将多个请求通过脚本的形式一次发送，减少网络时延 原子操作。redis会将整个脚本作为一个整体执行，中间不会被其他命令插入。因此在编写脚本的过程中无 阅读全文

摘要：公司目前在市面上有大量的机器在运转。每天对接到服务器就有数百万的请求过来，无形中消耗了带宽和计算资源。可以通过一定的策略来过滤掉部分请求，保证服务器的稳定。 扩展阅读： 1.当然这层逻辑既可以落到接入层，也可以落到业务层。这里为了不影响线上其它业务，保证系统的稳定和代码可追溯。也方便实行最小验证，我 阅读全文

摘要：项目中用到了限流，受限于一些实现方式上的东西，手撕了一个简单的服务端限流器。 服务端限流和客户端限流的区别，简单来说就是： 1）服务端限流 对接口请求进行限流，限制的是单位时间内请求的数量，目的是通过有损来换取高可用。 例如我们的场景是，有一个服务接收请求，处理之后，将数据bulk到Elastics 阅读全文

摘要：目的：可以对接口访问的频次进行限制，减少服务器压力 使用： 可以进行全局配置 REST_FRAMEWORK = { 'DEFAULT_THROTTLE_CLASSES': ( 'rest_framework.throttling.AnonRateThrottle', # 未登录用户 'rest_fr 阅读全文