摘要：
假如：css 选择其中如果div元素下面有子节点a 和孙节点 imag 1： 如果要选择imga 可以用('div imag') 但是不能用('div > imag') 这其中‘ ’ 和 ‘>'的区别就是 ‘ ’是选择其所有的后辈节点，但是‘>’只是选择儿子节点。 2：选择div下面的第二个a标签可 阅读全文
posted @ 2019-05-04 20:12
脱离低级趣味
阅读(291)
评论(0)
推荐(0)
摘要：
__new__与__init__的理解 __new__()方法是在创建实例之前被调用的，它的作用是创建一个实例，然后返回该实例对象，它是一个静态方法。 __init__() 当实例被创建完成之后被调用的，然后设置对象属性的一些初始值，是一个实例方法。 也即：__new__先被调用，__init__后 阅读全文
posted @ 2019-05-04 20:12
脱离低级趣味
阅读(275)
评论(0)
推荐(0)
摘要：
命令行输入：scrapy genspider --list 可以看到scrapy给我们提供的爬虫模板： basiccrawlcsvfeedxmlfeed 一般都是用默认模板生成的spider，如果需要选择模本可以用命令： scrapy genspider -t crawl .... 关于pachar 阅读全文
posted @ 2019-05-04 20:11
脱离低级趣味
阅读(252)
评论(0)
推荐(0)
摘要：
fake-useragent请求知乎的坑 在用scrapy爬取知乎的时候，用fake-useragent模块随机添加请求头的时候发现知乎跳转到一个提示浏览器版本过低的网页。 我百思不得其解，自己思考如下：综合1、3，说明fake-useragent应该没问题的，综合3、4我怀疑这是知乎使用的一种反爬 阅读全文
posted @ 2019-05-04 20:10
脱离低级趣味
阅读(1201)
评论(0)
推荐(0)
摘要：
在用到itemloader时，既可以通过在item中定义一些函数，作为input_processor()的参数对提取的数据进行修改，也可以直接在提取的字段后面加入自己的正则表达式提取数据。如上图中的re语句。 阅读全文
posted @ 2019-05-04 20:06
脱离低级趣味
阅读(310)
评论(0)
推荐(0)
摘要：
FormRequest FormRequest类是专门用来处理HTML表单的，同时对隐藏的表单处理也很方便。适合用来完成登录操作。 类原型：class scrapy.http.FormRequest(url[, formdata, ...])其构造参数formdata可以是字典形式，也可以是（key 阅读全文
posted @ 2019-05-04 20:04
脱离低级趣味
阅读(203)
评论(0)
推荐(0)
摘要：
当用Queue进行通信的时候，如果put进queue的时候有延迟，而get方法一直在运行的时候，如果用了while queue.qsize()!=0:来运行get则可能会出现put还没来得及进入，get就已经去Queue中取数据，所以queue.qsize()==0，导致退出循环了，这样后面再put 阅读全文
posted @ 2019-05-04 20:03
脱离低级趣味
阅读(266)
评论(0)
推荐(0)
摘要：
创建一个线程池： Future对象的理解： 在我们创建submit()的时候会立即返回一个future对象，这个对象可能是没有完成的，但是会在将来某个时候完成，所以它是一个未来对象，或者叫做task的返回容器，保存task的执行状态及执行结果。（注意future与task的区别） 看submit() 阅读全文
posted @ 2019-05-04 20:02
脱离低级趣味
阅读(267)
评论(0)
推荐(0)
摘要：
回车和换行的历史： 机械打字机有回车和换行两个键作用分别是: 换行就是把滚筒卷一格，不改变水平位置。 （即移到下一行，但不是行首，而是和上一行水平位置一样） 回车就是把水平位置复位，不卷动滚筒。 （即将光标移到行首，但是不会移到下一行，如果继续输入的话会覆盖掉前面的内容） Enter = 回车+换行 阅读全文
posted @ 2019-05-04 20:02
脱离低级趣味
阅读(20820)
评论(0)
推荐(2)
摘要：
OSI七层模型 七层网络结构： 应用层、表示层、会话层、传输层、网络层、数据链路层、物理层 一般也作五层 应用层、传输层、网络层、数据链路层、物理层（实体层） TPC/IP协议是传输层协议，主要解决数据如何在网络中传输，而HTTP是应用层协议，主要解决如何包装数据。关于TCP/IP和HTTP协议的关 阅读全文
posted @ 2019-05-04 20:00
脱离低级趣味
阅读(578)
评论(2)
推荐(0)
浙公网安备 33010602011771号