小学弟- - 博客园

2020年11月4日

摘要： Celery 是一个强大的分布式任务队列的异步处理框架，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务（async task）和定时任务（crontab）。我们需要一个消息队列来下发我们的任务。首先要有一个消息中间件，此处选择rabbitmq ( 阅读全文

posted @ 2020-11-04 15:11 小学弟- 阅读(187) 评论(0) 推荐(0)

nginx 的访问日志切割

摘要： 1. 高级用法–使用 nginx 本身来实现当 nginx 在容器里，把 nginx 日志挂载出来的时候，我们发现就不适合再使用 kill -USR1 的方式去分割日志这时候当然就需要从 nginx 本身配置去解决这个问题了，我们都知道访问日志里面都有一个时间相关的字段，如果我们把这个时间捞出来，阅读全文

posted @ 2020-11-04 10:51 小学弟- 阅读(287) 评论(0) 推荐(0)

2020年11月3日

python异步编程之asyncio

摘要： python异步编程之asyncio 前言：python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率，弥补了python性能方面的短板，如最新的微服务框架japronto，resquests per sec 阅读全文

posted @ 2020-11-03 14:18 小学弟- 阅读(418) 评论(0) 推荐(0)

2020年10月30日

rsync 排除指定目录或文件进行同步

摘要： rsync 排除指定目录或文件进行同步很常见的情况：我想同步/myweb下的一些php文件，但是不想复制/myweb/log/里边的一些日志文件，因为这些文件太大了，备份也是没有意义的。现在如果想避开某个路径直接添加—exclude 即可比如—exclude “./log” –excl 阅读全文

posted @ 2020-10-30 13:57 小学弟- 阅读(3782) 评论(0) 推荐(0)

Scrapy的Request和Response

摘要： Scrapy的Request和Response 本文链接：https://blog.csdn.net/kissazhu/article/details/80865773 上节课我们学习了中间件，知道了怎么通过中间件执行反反爬策略。本节课主要介绍Scrapy框架的request对象和response对阅读全文

posted @ 2020-10-30 12:00 小学弟- 阅读(425) 评论(0) 推荐(0)

scrapy使用response.body时编码问题

摘要： scrapy使用response.body时编码问题摘要：scrapy使用response.body时编码问题。如果在使用responses.body获取数据时，需要将其编码转换成unicode,即如下处理： response.body返回的结果是byte字节串，其编码是网页的原编码；如果在使用阅读全文

posted @ 2020-10-30 11:57 小学弟- 阅读(1889) 评论(1) 推荐(1)

Rabbitmqpool

摘要： import pika import threading import random import uuid import json # 框架模块 from django.conf import settings """ Class: Parameters: Connectionsize:int类型阅读全文

posted @ 2020-10-30 10:14 小学弟- 阅读(276) 评论(0) 推荐(0)

2020年10月22日

pika详解(四) channel 通道

摘要： pika详解(四) channel 通道本文链接：https://blog.csdn.net/comprel/article/details/94662394 版权 channel通道通道是在connection建立后进行创建分配的，有利于connection重用官方建议通过connect 阅读全文

posted @ 2020-10-22 10:34 小学弟- 阅读(881) 评论(0) 推荐(0)

pika详解(五)登录认证及connectionParameters

摘要： pika详解(五)登录认证及connectionParameters 本文链接：https://blog.csdn.net/comprel/article/details/94662916 版权 pika 登录认证使用Pika进行身份验证，需要创建一个PlainCredentials 传递用户名和阅读全文

posted @ 2020-10-22 10:32 小学弟- 阅读(1540) 评论(0) 推荐(0)

pika详解(三)SelectConnection及其他Connection

摘要： pika详解(三)SelectConnection及其他Connection 本文链接：https://blog.csdn.net/comprel/article/details/94661147 pika除了block connection外还提供了其他非阻塞式的连接方式 SelectConnec 阅读全文

posted @ 2020-10-22 10:29 小学弟- 阅读(760) 评论(0) 推荐(0)

公告