道高一尺

2017年6月19日

摘要：类和对象对象即是模拟真实世界,把数据和代码封装在一起.对象 = 属性 + 方法属性即变量,方法即函数我们把静态的特征成为属性,把动态的特征成为方法. 面向对象编程面向对象编程封装:信息隐蔽技术继承:子类共享父类的属性和方法多态:不同实例对象对同一名称的方法可能响应不同的特征阅读全文

posted @ 2017-06-19 19:28 道高一尺阅读(353) 评论(0) 推荐(0)

super函数的作用

摘要： super函数的作用super().__init__()当子类重写父类的方法时,会覆盖父类方法,super此举是保留父类如果属性名跟方法名相同,属性会覆盖方法方法必须要有实例才能被调用,这叫做绑定阅读全文

posted @ 2017-06-19 19:27 道高一尺阅读(530) 评论(0) 推荐(0)

删除字符串空格方法

摘要： " abc ".strip() # returns "abc" " xyz ".lstrip() # returns "xyz " " xyz ".rstrip() # returns " xyz" " x y z ".replace(' ', '') # returns "xyz"... 阅读全文

posted @ 2017-06-19 16:25 道高一尺阅读(179) 评论(0) 推荐(0)

2017年6月18日

Downloader Middleware

摘要： downloader middleware作用：改写请求，如加入代理，加入头部等；处理异常等。阅读全文

posted @ 2017-06-18 18:39 道高一尺阅读(443) 评论(0) 推荐(0)

[转]scrapy中的logging

摘要： logging模块是Python提供的自己的程序日志记录模块。在大型软件使用过程中，出现的错误有时候很难进行重现，因此需要通过分析日志来确认错误位置，这也是写程序时要使用日志的最重要的原因。 scrapy使用python内置的logging模块记录日志日志的级别 1. logging.CRITI 阅读全文

posted @ 2017-06-18 18:09 道高一尺阅读(3957) 评论(0) 推荐(0)

[转]scrapy中的request.meta

摘要：作者：知乎用户链接：https://www.zhihu.com/question/54773510/answer/146971644 meta属性是字典，字典格式即{‘key’:'value'}，字典是一种可变容器模型，可存储任意类型对象。 request中meta参数的作用是传递信息给下一个函数，阅读全文

posted @ 2017-06-18 17:02 道高一尺阅读(3590) 评论(0) 推荐(0)

2017年6月14日

Item Pipeline

摘要：当Item在Spider中被收集之后，它将会被传递到Item Pipeline，一些组件会按照一定的顺序执行对Item的处理。每个item pipeline组件(有时称之为“Item Pipeline”)是实现了简单方法的Python类。他们接收到Item并通过它执行一些行为，同时也决定此Item 阅读全文

posted @ 2017-06-14 20:07 道高一尺阅读(522) 评论(0) 推荐(0)

scrapy spider官方文档

摘要： Spiders Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。对spider来说，爬取的循环类似下文: 以初始的URL初阅读全文

posted @ 2017-06-14 18:29 道高一尺阅读(2144) 评论(0) 推荐(0)

scrapy选择器主要用法

摘要： # 命令行输入:scrapy shell +链接,会自动请求url,得到的相应默认为response,开启命令行交互模式 scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html In [1]: response#response为默认相应 Out[1]: In [2]: response.tex... 阅读全文

posted @ 2017-06-14 16:29 道高一尺阅读(1461) 评论(0) 推荐(0)

scrapy 选择器官方文档

摘要：当抓取网页时，常见的任务是从HTML源码中提取数据。现有的一些库可以达到这个目的： BeautifulSoup lxml BeautifulSoup lxml Scrapy 提取数据有自己的一套机制。它们被称作选择器(seletors)，因为他们通过特定的 XPath 或者 CSS 表达式来“选择” 阅读全文

posted @ 2017-06-14 14:44 道高一尺阅读(351) 评论(0) 推荐(0)

公告