摘要：一、需求 最近准备爬取某电商网站的数据，先不考虑代理、分布式，先说效率问题（当然你要是请求的太快就会被封掉，亲测，400个请求过去，服务器直接拒绝连接，心碎），步入正题。一般情况下小白的我们第一个想到的是for循环，这个可是单线程啊。那我们考虑for循环直接开他个5个线程，问题来了，如果有一个url 阅读全文

摘要：一、进程： 1、语法 2、进程间通讯 3、进程池 二、Gevent协程 三、Select\Poll\Epoll异步IO与事件驱动 一、进程： 1、语法 1 简单的启动线程语法 2 def run(name): 3 time.sleep(2) 4 print("hello",name) 5 6 if 阅读全文

摘要：一、paramiko 二、进程、与线程区别 三、python GIL全局解释器锁 四、线程 一、paramiko 用于远程连接并执行简单的命令 使用用户名密码连接： 使用公钥连接 SFTPClient使用用户名密码完成上传下载 SFTPClient使用公钥完成上传下载 二、进程、与线程区别 线程：是 阅读全文