随笔分类 -  python相关模块与框架

记录使用过或者二次开发过的python模块与框架
摘要：scrapy： 十分强大的爬虫模块，爬虫spiders须指定一个start_urls作为起始的任务，使用Rule(xpath,css)解析到新的任务，将需要的数据按照item结构，通过pipelines存储到指定的地方 合理使用下载中间件downloadermiddleware的内置中间件，或者编写 阅读全文
posted @ 2016-05-19 17:21 z_hong7 阅读(147) 评论(0) 推荐(0)