摘要： 一、命令行工具创建Django项目 1、安装 pip install django 2、命令行创建项目 django-admin startproject 项目名称 3、命令行创建应用 python manage.py startapp 应用名 4、添加创建的应用 setting.py -->ins 阅读全文

摘要： 一、安装rabbitMQ 准备： 下载erlanghttps://www.erlang.org/downloads下载RabbitMQhttps://github.com/rabbitmq/rabbitmq-server/releases/tag/v3.11.18 1、RabbitMQ 它依赖于Er 阅读全文

摘要： 一、使用twisted 对python3不是完全的支持，安装：pip install twisted twisted模块使用例子 from twisted.internet import reactor from twisted.web.client import Agent,readBody fr 阅读全文

摘要： 一、并发请求实现 1、多线程实现并发 from concurrent.futures import ThreadPoolExecutor import requests import time def task(url): response=requests.get(url) print(url,r 阅读全文

摘要： 一、爬虫介绍 1、场景分类 定向 指爬取指定网站 非定向 指从所有网站爬取 2、下载页面 常用的开源框架，requests&beautisoup #1.requests response=requests.get('http://') response.text #2.beautisoup模块 so 阅读全文

摘要： 一、scrapy源码流程 流程要点： 1、执行CrawlerProcess构造方法 2、CrawlerProcess对象（含有配置文件）的spiders 2.1、为每个爬虫创建一个Crawler 2.2、执行d=Crawler.crawl(...) d.addBoth(_done) 2.3、Craw 阅读全文

摘要： 一、scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架 应用原理 1、指定初始url 2、解析响应内容 -给调度器 -给item;pipeline;用于做格式化；持久化 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Schedul 阅读全文

摘要： 一、简单介绍tornado tornado学习概要 1、基本操作 -路由系统 -视图函数2、自定义开源组件 session Form表单验证3、自定义异步非阻塞web框架 1、简单示例 import tornado.ioloop import tornado.web class MainHandle 阅读全文

摘要： 一、websocket介绍 概述-http,socket实现，短链接，请求响应-websocket,socket实现，双工通道，请求响应，推送 socket创建连接，不断开 二、websocket握手过程分析 socket入手-服务端（socket服务端） 1、服务端开启socket,监听IP和端口 阅读全文

摘要： 一、异步非阻塞框架介绍 1、介绍 支持异步非阻塞web框架：tornado , node js 2、定义对比 异步IO模块：我们作为客户端向服务端“并发”请求 异步非阻塞web框架：针对服务端，希望一个线程处理更多的请求 二、tornado异步非阻塞 【要点提炼】 使用装饰器@gen.corouti 阅读全文