木林森__𣛧

2019年8月30日

摘要： flask_migrate 1. flask_migrate doc: https://flask-migrate.readthedocs.io/en/latest/ 1.1. 简介在使用falsk_sqlalchemy时，采用db.create_all()创建表，但在后期修改数据库表字段的时候，阅读全文

posted @ 2019-08-30 20:58 木林森__𣛧阅读(226) 评论(0) 推荐(0)

docker创建镜像

摘要： docker创建镜像 1. 创建python镜像 1.1. 什么是dockerfile? Dockerfile是一个包含用于组合映像的命令的文本文档。可以使用在命令行中调用任何命令。Docker通过读取Dockerfile中的指令自动生成映像。 dockerbuild命令用于从Dockerfile构阅读全文

posted @ 2019-08-30 20:57 木林森__𣛧阅读(169) 评论(0) 推荐(0)

docker命令

摘要： docker命令 1. 运行及状态管理 1.1. 创建/启动/终止/删除容器 docker create 创建容器，新创建的容器是停止状态 docker start 启动容器 docker restart 守护态，后台运行docker run –d python /bin/echo ‘hello w 阅读全文

posted @ 2019-08-30 20:52 木林森__𣛧阅读(206) 评论(0) 推荐(0)

压力测试-apachebench

摘要：压力测试-apachebench 1. 压力测试压力测试的概念\定义：性能测试Performance Test ：是指通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试；压力测试 stress testing ：是指通过测试系统的瓶颈或者不能接受的性能点，来获阅读全文

posted @ 2019-08-30 20:51 木林森__𣛧阅读(401) 评论(0) 推荐(0)

gunicorn

摘要： gunicorn 1. 简介官网：https://gunicorn.org/#docs Gunicorn 'Green Unicorn' is a Python WSGI HTTP Server for UNIX. It's a pre-fork worker model. The Gunicor 阅读全文

posted @ 2019-08-30 20:50 木林森__𣛧阅读(545) 评论(0) 推荐(0)

2019年8月25日

一致性Hash算法

摘要：一致性Hash算法一致性Hash算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点（Hot Spot）问题，初衷和CARP十分相似。一致性Hash修正了CARP使用的简单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。阅读全文

posted @ 2019-08-25 14:03 木林森__𣛧阅读(157) 评论(0) 推荐(0)

2019年8月23日

scrapy item处理----cooperator和parallel()函数

摘要： twisted的task之cooperator和scrapy的parallel()函数本文是关于下载结果返回后调用item处理的过程实现研究。从scrapy的结果处理说起 def handle_spider_output(self, result, request, response, spid 阅读全文

posted @ 2019-08-23 15:03 木林森__𣛧阅读(338) 评论(0) 推荐(0)

twisted task.cpperator

摘要： twisted task.cpperator 1. twisted task.cpperator 1.1. 简介-cooperator 官方文档： https://twistedmatrix.com/documents/current/api/twisted.internet.task.Cooper 阅读全文

posted @ 2019-08-23 14:59 木林森__𣛧阅读(193) 评论(0) 推荐(0)

python splash scrapy

摘要： python splash scrapy 1. 前言 slpash是一个渲染引擎，它有自己的api，可以直接访问splash服务的http接口，但也有对应的包python-splash方便调用。 1.1. python + splash简单调用先从直接访问http接口开始。 import requ 阅读全文

posted @ 2019-08-23 14:57 木林森__𣛧阅读(598) 评论(0) 推荐(0)

splash-简介及入门

摘要： splash 1. splash简介 Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取。利用Splash，我们可以实现如下功能：异步方式处理多个网页渲染过程；阅读全文

posted @ 2019-08-23 14:54 木林森__𣛧阅读(1172) 评论(0) 推荐(0)

公告