摘要: scrapy爬虫 企业级爬虫:python开发的一个快速,高层次的web抓取框架,用于抓取web站点并从页面提取结构化的数据。 scrapy用途广泛,可用于数据挖掘,数据监测和自动化测试 http://scrapy.org/ scrapy startproject proName scrapy ge 阅读全文
posted @ 2017-07-30 18:41 yugengde 阅读(153) 评论(0) 推荐(0)
摘要: from lxml import etreedoubanhtml = ''''''doc = etree.fromstring(doubanhtml)for eachbook in doc.xpath('//dl/dd'): bookname = eachbook.xpath('a/text()') 阅读全文
posted @ 2017-07-30 08:47 yugengde 阅读(236) 评论(0) 推荐(0)
该文被密码保护。 阅读全文
posted @ 2017-07-30 00:48 yugengde 阅读(2) 评论(0) 推荐(0)