2018年8月24日

摘要: selector会创建对象之后就很容易上手了,而对象的一般格式都是: selector = Selector(text=text) 这是最基本的,还有复杂一点的对象,如response = HtmlResponse(url='http://x.0830114.net/',encoding='utf- 阅读全文
posted @ 2018-08-24 21:56 明天生活你好 阅读(976) 评论(0) 推荐(0)
 
摘要: 任务 :1爬取每本书的标题 地址:http://books.toscrape.com/index.html 2爬取每本书的价格 涉及模块:import scrapy 3排列好每本书对应的内容 涉及知识:response下css的爬取 使用scrapy startproject select1来创建项 阅读全文
posted @ 2018-08-24 17:26 明天生活你好 阅读(459) 评论(1) 推荐(0)
 
摘要: scrapy有很多依赖库,如果不安装这些库文件,执行scrapy命令就会出错,大概分为6条 只需要按这个步骤依次执行就安装好库文件了,1:pip install wheel 2:pip install lxml 3: pip install PyOpenssl 4:pip install Twist 阅读全文
posted @ 2018-08-24 14:31 明天生活你好 阅读(1257) 评论(0) 推荐(0)
 
摘要: 只需要把python里面manhole.py文本的所有的async替换成其他名字就行,我的这个文件就放在F:\python\Lib\site-packages\twisted\conch目录下,比如全部替换成async123都无所谓。替换之后保存,就可以正常执行了。 阅读全文
posted @ 2018-08-24 14:07 明天生活你好 阅读(656) 评论(0) 推荐(0)