摘要： crawley startproject crawley_spider cd crawley_spider pypiScraper类内部定义的scrape方法。它使用Xpath来获取解析的html，然后将提取的数据存储在Packages表中。 运行爬虫：crawley run 阅读全文

摘要： 1.主要用到的函数及调用的顺序为： __init__()：初始化爬虫名字，和start_urls列表 start_requests()调用make_requests_from_url()：生成request对象交给scrapy下载并返回response parse()：解析response，并返回I 阅读全文