yarightok

摘要： socket模块 实现客户端 - 服务器应用 celery库 分布式任务管理 pyro4 实现远程方法调用(RMI) 阅读全文

摘要： python 并行编程 异步模型 asynchronous model 在并发异步执行模型中，不同任务的执行在时间轴上有交叠，所有活动都在单一控制流作用下完成(单线程)。一旦启动，任务的执行可以暂挂，过一段时间后再恢复，与当前其他任务的执行交替进行。 concurrent.futures 模块 co 阅读全文

摘要： python 并行编程 multiprocessing 进程 multiprocessing.Process 类 init(group=None, target=None, name=None, args=(), kwargs={}) 参数 group: 进程组，必须为None，为将来的实现保留的 阅读全文

摘要： Python内置函数 sorted() 参数 args iterable：可迭代数据 kwargs cmp: 排序函数(目前还没有用到过 😃 key: 键函数，iterable中每一个元素经过key函数得到一个值，最终是根据这个值进行排序 reverse: 是否逆序(从大到小)，默认为False， 阅读全文

摘要： compile() 参数 string: 正则表达式字符串 flag: 匹配模式，多个值可以使用按位或运算符| 表示同时生效 re.I: 忽略大小写 re.M: 多行模式，改变^和$的行为 re.S: 点任意匹配模式，改变.的行为 re.L: 使预定字符类\w \W \b \B \s \S 取决于当 阅读全文

摘要： python 并行编程 threading 线程 线程由3个元素组成：程序计数器、寄存器和堆栈。 同一个进程内的多个线程可以共享当前进程资源包括：数据和操作系统资源。 线程有自己的状态: 就绪(ready)、运行(running)、阻塞(blocked)。 创建线程 --> 就绪 就绪 --> 操作 阅读全文

摘要： beautifulsoup4 引用：from bs4 import BeautifulSoup BeautifulSoup 类 soup = BeautifulSoup()，此类会在初始化时自动修正html 获取节点 soup.节点名，比如soup.p获取节点，会返回第一个匹配到的p节点，返回类型是 阅读全文

摘要： urllib request 最基本的http请求模块 build_opener 函数 使用一些默认的handler构建一个opener(OpenerDirector类型) urlopen 函数 最基本的构造HTTP请求的方法，实际这个函数内部就是使用build_opener完成创建opener，然 阅读全文

摘要： scrapy spider 爬虫，负责生成Request以及对爬取结果解析并生成对应的Item spider middleware 爬虫中间件，位于engine和spider之间，可以对响应和Item进行处理 engine 引擎，负责处理整个系统的数据流和事件 schelduler 调度器，负责维护 阅读全文

摘要： git add 之后，git status 把添加的文件通过正则替换后，复制到files = [xxx]中 比如： modified: crawler/main.py modified: crawler/download.py 替换为 'crawler/main.py', 'crawler/down 阅读全文