2018年5月27日
摘要: 介绍 Celery是由Python开发的一个简单、灵活、可靠的处理大量任务的分发系统,它不仅支持实时处理也支持任务调度。 user:用户程序,用于告知celery去执行一个任务。 broker: 存放任务(依赖RabbitMQ或Redis,进行存储) worker:执行任务 celery需要rabb 阅读全文
posted @ 2018-05-27 20:00 Py行僧 阅读(126) 评论(0) 推荐(0) 编辑
摘要: linux安装python3 下载python3包,解压并进入目录 安装依赖 - yum install openssl-devel # pip依赖 - yum install sqlite-devel # sqliet依赖 编译安装py3 - ./configure - make - make i 阅读全文
posted @ 2018-05-27 19:58 Py行僧 阅读(120) 评论(0) 推荐(0) 编辑
  2018年5月21日
摘要: 参考博客 http://www.cnblogs.com/wupeiqi/articles/5132791.html 阅读全文
posted @ 2018-05-21 21:10 Py行僧 阅读(135) 评论(0) 推荐(0) 编辑
  2018年5月17日
摘要: tornado是什么 Tornado是一个轻量级的Web框架,异步非阻塞+内置WebSocket功能。 安装:pip3 install tornado tornado websocket示例 前端页面: 阅读全文
posted @ 2018-05-17 20:35 Py行僧 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 知识点回顾: - 什么是轮训? - 通过定时器让程序每隔n秒执行一次操作。 - 什么是长轮训? - 浏览器向后端发起请求,后端会将请求 hang 住,最多hang 30s。 如果一直不返回数据:则最多等待30s,紧接着用户立即再发送请求。 如果有数据返回:则操作数据并立即再发送请求。 PS:后台可以 阅读全文
posted @ 2018-05-17 20:28 Py行僧 阅读(193) 评论(0) 推荐(0) 编辑
摘要: 配置: 指定app下创建指定数据库命令 手动操作:指定数据库读写分离 自动操作: 粒度更细的情况 使用: 问题: app01中的表在default数据库创建app02中的表在db1数据库创建 # 第一步: python manage.py makemigraions # 第二步: app01中的表在 阅读全文
posted @ 2018-05-17 19:57 Py行僧 阅读(201) 评论(0) 推荐(0) 编辑
摘要: 方案一:用户手动刷新 方案二:用轮询实现票数实时显示--flask 在前端页面写一个函数,每个两秒刷新页面 from flask import Flask,request,render_template,redirect,session app = Flask(__name__) app.secre 阅读全文
posted @ 2018-05-17 19:22 Py行僧 阅读(988) 评论(0) 推荐(0) 编辑
摘要: 作用: - 用于对用户请求的数据校验。 - 生成HTML标签 对于Choice字段,在数据库添加数据,刷新页面不更新的情况,可以重写构造方法,每次实例化Form对象的时候重新从数据库取数据,这样页面上显示的是最新的数据 阅读全文
posted @ 2018-05-17 19:18 Py行僧 阅读(94) 评论(0) 推荐(0) 编辑
  2018年5月15日
摘要: 安装 pip3 install scrapy-redis 目标:帮助开发者实现分布式爬虫程序 class RFPDupeFilter(BaseDupeFilter): """Request Fingerprint duplicates filter""" def __init__(self, pat 阅读全文
posted @ 2018-05-15 22:22 Py行僧 阅读(159) 评论(0) 推荐(0) 编辑
  2018年5月14日
摘要: Scrapy Scrapy是一个可扩展功能齐全的爬虫框架 Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下 Scrapy主要包括了以下组件: 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 阅读全文
posted @ 2018-05-14 17:09 Py行僧 阅读(274) 评论(0) 推荐(0) 编辑