2017年10月30日
python高级之Flask框架
摘要： 目录： Flask基本使用 Flask配置文件 Flask路由系统 Flask模版 Flask请求与响应 Flask之Session Flask之蓝图 Flask之message 中间件 Flask插件 一、Flask基本使用 1、flask简介 lask是一个基于Python开发并且依赖jinja 阅读全文
posted @ 2017-10-30 13:58 shuyang 阅读(31389) 评论(2) 推荐(0)
python高级之scrapy-redis
摘要： 目录： scrapy-redis组件 scrapy-redis配置示例 scrapy-redis组件 一、scrapy-redis组件 1、scrapy-redis简介： scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能 阅读全文
posted @ 2017-10-30 11:11 shuyang 阅读(1377) 评论(0) 推荐(1)
python高级之scrapy框架
摘要： 目录： 爬虫性能原理 scrapy框架解析 一、爬虫性能原理 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 1、同步执行 1 import requests 2 3 def fetch_async(url): 4 response 阅读全文
posted @ 2017-10-30 10:54 shuyang 阅读(921) 评论(0) 推荐(1)