1

1. cookies

1.使用session对象可自动存储服务器返回的cookies

原来代码：

r = requests.post(url, headers={}, data={})
r = requests.get(url, headers={})

使用session的代码：

session = requests.Session()
r = session.post(url, headers={}, data={})
r = session.get(url, headers={})

2.代理相关网站

-快代理
-西祠代理
-www.goubanjia.com

3.线程池

from mutiprocessing.dummy import Pool
pool = Pool(4) # 实例化一个4线程的线程池
result_list = pool.map(get_html, url_list) # 参数一：函数名，参数二：该函数参数的列表

pool.close()
pool.join()

4.单线程异步协程 async

import asyncio