摘要：p = u'' + r'‪C:\Users\Administrator\Desktop\222.txt' python 读取文件报错：IOError: [Errno 22] invalid mode ('rb') or filename: u'\u202aC:\\Users\\Administrat 阅读全文

摘要：一般爬虫可以分为以下几个步骤： 一、打开指定网页 二、解析网页 三、处理/存储数据，新增任务网页 另外异步的话，需要调度器。 简单爬虫的话，不需要搞复杂验证码，requests/urllib修改cookie,header就能访问的话，写一个打开，一个解析就够了，处理数据和新任务，直接写在解析类就下， 阅读全文

摘要：分布式进程可以布置在局域网之中，把安排的任务注册到局域网内，不同主机之间就可以传递信息，从而分配任务和反馈，不过并不适合返回大量数据； 首先需要一个服务器server，用来存放数据，其他机器通过局域网内ip访问到： 注意注册到服务器的ip和端口要和通信服务器端的一致。 局域网内各进程间接地通过 服务 阅读全文

摘要：# -*- coding: utf-8 -*- """ Created on Sat Jun 24 22:03:17 2017 @author: willowj """ import sys stdout, stdin, stderr = sys.stdout, sys.stdin, sys.stderr reload(sys) sys.stdout, sys.stdin, sys.std... 阅读全文

摘要：Requests 会话对象 会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie， 期间使用 urllib3 的 connection pooling 功能。所以如果你向同一主机发送多个请求，底层的 TCP 连接将会被重用，从而带来显著的性能提 阅读全文