yarightok

摘要： python 并行编程 multiprocessing 进程 multiprocessing.Process 类 init(group=None, target=None, name=None, args=(), kwargs={}) 参数 group: 进程组，必须为None，为将来的实现保留的 阅读全文

摘要： Python内置函数 sorted() 参数 args iterable：可迭代数据 kwargs cmp: 排序函数(目前还没有用到过 😃 key: 键函数，iterable中每一个元素经过key函数得到一个值，最终是根据这个值进行排序 reverse: 是否逆序(从大到小)，默认为False， 阅读全文

摘要： compile() 参数 string: 正则表达式字符串 flag: 匹配模式，多个值可以使用按位或运算符| 表示同时生效 re.I: 忽略大小写 re.M: 多行模式，改变^和$的行为 re.S: 点任意匹配模式，改变.的行为 re.L: 使预定字符类\w \W \b \B \s \S 取决于当 阅读全文

摘要： python 并行编程 threading 线程 线程由3个元素组成：程序计数器、寄存器和堆栈。 同一个进程内的多个线程可以共享当前进程资源包括：数据和操作系统资源。 线程有自己的状态: 就绪(ready)、运行(running)、阻塞(blocked)。 创建线程 --> 就绪 就绪 --> 操作 阅读全文

摘要： beautifulsoup4 引用：from bs4 import BeautifulSoup BeautifulSoup 类 soup = BeautifulSoup()，此类会在初始化时自动修正html 获取节点 soup.节点名，比如soup.p获取节点，会返回第一个匹配到的p节点，返回类型是 阅读全文

摘要： urllib request 最基本的http请求模块 build_opener 函数 使用一些默认的handler构建一个opener(OpenerDirector类型) urlopen 函数 最基本的构造HTTP请求的方法，实际这个函数内部就是使用build_opener完成创建opener，然 阅读全文

摘要： scrapy spider 爬虫，负责生成Request以及对爬取结果解析并生成对应的Item spider middleware 爬虫中间件，位于engine和spider之间，可以对响应和Item进行处理 engine 引擎，负责处理整个系统的数据流和事件 schelduler 调度器，负责维护 阅读全文

摘要： git add 之后，git status 把添加的文件通过正则替换后，复制到files = [xxx]中 比如： modified: crawler/main.py modified: crawler/download.py 替换为 'crawler/main.py', 'crawler/down 阅读全文

摘要： 用作布尔表达式（如用作if语句中的条件）时，下面的值都将被解释器视为假： False None 0 "" () [] {} 也就是说， 标准值False和None、 各种类型（包括浮点数、复数等）的数值0、 空序列（如空字符串、空元组和空列表）、 空映射（如空字典）都被视为假， 而其他各种值都被视为 阅读全文

摘要： 序列sequence 通用的序列操作 索引 索引从0开始 最后一个元素的索引可以用-1表示 字面量后面可直接执行索引操作，而不必先把字面量赋值给一个变量 切片 [起始索引:结束索引:步长] 三个值都可以省略 省略起始索引，表示从第一个元素开始 省略结束索引，表示一直到列表最后，包括最后一个元素 省略 阅读全文