上一页 1 ··· 24 25 26 27 28 29 30 31 32 ··· 106 下一页
摘要: Celery 是一个强大的 分布式任务队列 的 异步处理框架,它可以让任务的执行完全脱离主程序,甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务(async task)和定时任务(crontab)。我们需要一个消息队列来下发我们的任务。首先要有一个消息中间件,此处选择rabbitmq ( 阅读全文
posted @ 2020-11-04 15:11 小学弟- 阅读(187) 评论(0) 推荐(0)
摘要: 1. 高级用法–使用 nginx 本身来实现 当 nginx 在容器里,把 nginx 日志挂载出来的时候,我们发现就不适合再使用 kill -USR1 的方式去分割日志这时候当然就需要从 nginx 本身配置去解决这个问题了,我们都知道访问日志里面都有一个时间相关的字段,如果我们把这个时间捞出来, 阅读全文
posted @ 2020-11-04 10:51 小学弟- 阅读(287) 评论(0) 推荐(0)
摘要: python异步编程之asyncio 前言:python由于GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病。然而在IO密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了python性能方面的短板,如最新的微服务框架japronto,resquests per sec 阅读全文
posted @ 2020-11-03 14:18 小学弟- 阅读(418) 评论(0) 推荐(0)
摘要: rsync 排除指定目录或文件进行同步 很常见的情况:我想同步/myweb下的 一些php文件 , 但是不想复制/myweb/log/里边的一些日志文件,因为这些文件太大了,备份也是没有意义的。 现在如果想避开某个路径 直接添加—exclude 即可 比如—exclude “./log” –excl 阅读全文
posted @ 2020-10-30 13:57 小学弟- 阅读(3782) 评论(0) 推荐(0)
摘要: Scrapy的Request和Response 本文链接:https://blog.csdn.net/kissazhu/article/details/80865773 上节课我们学习了中间件,知道了怎么通过中间件执行反反爬策略。本节课主要介绍Scrapy框架的request对象和response对 阅读全文
posted @ 2020-10-30 12:00 小学弟- 阅读(425) 评论(0) 推荐(0)
摘要: scrapy使用response.body时编码问题 摘要:scrapy使用response.body时编码问题。如果在使用responses.body获取数据时,需要将其编码转换成unicode,即如下处理: response.body返回的结果是byte字节串,其编码是网页的原编码; 如果在使用 阅读全文
posted @ 2020-10-30 11:57 小学弟- 阅读(1889) 评论(1) 推荐(1)
摘要: import pika import threading import random import uuid import json # 框架模块 from django.conf import settings """ Class: Parameters: Connectionsize:int类型 阅读全文
posted @ 2020-10-30 10:14 小学弟- 阅读(276) 评论(0) 推荐(0)
摘要: pika详解(四) channel 通道 本文链接:https://blog.csdn.net/comprel/article/details/94662394 版权 ​ channel通道 通道是在connection建立后进行创建分配的,有利于connection重用 官方建议通过connect 阅读全文
posted @ 2020-10-22 10:34 小学弟- 阅读(881) 评论(0) 推荐(0)
摘要: pika详解(五)登录认证及connectionParameters 本文链接:https://blog.csdn.net/comprel/article/details/94662916 版权 pika 登录认证 使用Pika进行身份验证,需要创建一个PlainCredentials 传递用户名和 阅读全文
posted @ 2020-10-22 10:32 小学弟- 阅读(1540) 评论(0) 推荐(0)
摘要: pika详解(三)SelectConnection及其他Connection 本文链接:https://blog.csdn.net/comprel/article/details/94661147 pika除了block connection外还提供了其他非阻塞式的连接方式 SelectConnec 阅读全文
posted @ 2020-10-22 10:29 小学弟- 阅读(760) 评论(0) 推荐(0)
上一页 1 ··· 24 25 26 27 28 29 30 31 32 ··· 106 下一页