随笔分类 - Python

摘要：利用scrapy 爬取知乎，并将数据异步写入数据库。阅读全文

posted @ 2018-02-02 22:36 chaizz 阅读(5771) 评论(0) 推荐(0)

摘要：scrapy框架 scrapy 是一个爬虫框架,能够高效率,高层次的爬取页面的数据并进行处理。在scrapy的英文文档中，有这样的一个流程图 scrapy 框架主要分为五大部分，spider， engine，scheduler，downloader，item pipelines spider:是用阅读全文