Python 基础 四 -- 进程、线程、协程

1. socketservers

1. server = socketserver.TCPserver((HOST,PORT),MyTCPHandler)　　# 实例化一个 server
   　　　　socketserver.TheadingTCPserver()　　　　　　　　　　 # 多线程
   　　　　socketserver.ForkingTCPserver()　　　　　　　　　　　 # 多进程
2. server.handle_request()　　　　　　　　　　　　　　　　　 # 仅处理一个请求
   　　　　server.serve_forever()　　　　　　　　　　　　　　　 # 处理多个请求
3. server_close()　　　　　　　　　　　　　　　　　　　　　 # 关闭 socketserver

2. paramiko 模块

import paramiko
      vssh = paramiko.SSHClient()

3. 进程 & 线程

线程模块 threading

threading模块提供的类：
　　Thread, Lock, Rlock, Condition, [Bounded]Semaphore, Event, Timer, local.

threading 模块提供的常用方法：
　　t = threading.currentThread() 　# 返回当前的线程变量。
　　t.getName()　　　　　　　　# 获得线程名字
　　threading.enumerate()　　　# 返回一个包含正在运行的线程的list。正在运行指线程启动后、结束前，不包括启动前和终止后的线程。
　　threading.activeCount():　　# 返回正在运行的线程数量，与len(threading.enumerate())有相同的结果。

方法	注释
start()	# 线程准备就绪，等待CPU调度
setName()	# 为线程设置名称
getName()	# 获取线程名称
setDaemon(True)	# 设置为守护线程
join()	# 逐个执行每个线程，执行完毕后继续往下执行
run()	# 线程被cpu调度后自动执行线程对象的run方法，如果想自定义线程类，直接重写run方法就行了
join()用法示例：

import time
import threading
import os

def printNum(a):
    thread = threading.current_thread()
    print('num:', thread.getName(),os.getpid())
    time.sleep(1)

def ThreadTest(i):
    return threading.Thread(target=printNum, args=(999 ,),)

thread_arr = []
for i in range(10):
    t = ThreadTest(i)
    thread_arr.append(t)

for t in thread_arr:
    t.start()

for t in thread_arr:
    t.join()

thread = threading.current_thread()
print (thread.getName())
print('finished',os.getpid())

线程进程的区别：

1. 同一个进程中的线程共享同一内存空间，但是进程之间是独立的。
2. 同一个进程中的所有线程的数据是共享的（进程通讯），进程之间的数据是独立的。
3. 对主线程的修改可能会影响其他线程的行为，但是父进程的修改（除了删除以外）不会影响其他子进程。
4. 线程是一个上下文的执行指令，而进程则是与运算相关的一簇资源。
5. 同一个进程的线程之间可以直接通信，但是进程之间的交流需要借助中间代理来实现。
6. 创建新的线程很容易，但是创建新的进程需要对父进程做一次复制。
7. 一个线程可以操作同一进程的其他线程，但是进程只能操作其子进程。
8. 线程启动速度快，进程启动速度慢（但是两者运行速度没有可比性）。

python的线程中没有优先级、线程组，也不能被停止、暂停、恢复、中断，线程只能随着线程中的代码执行完毕而被销毁。

守护线程

方法	注释
t.setDaemon(True)	# 把子线程变成守护线程
t.start()	# 开始线程

扩展阅读：
　　python——线程与多线程进阶
　　搞定python多线程和多进程
　　由浅入深：Python多线程编程详解

4.GIL

• GIL的全称是Global Interpreter Lock(全局解释器锁)
• GIL的释放逻辑是当前线程遇见IO操作或者ticks计数达到100
• sys.setcheckinterva 用于调整 ticks(仅python2)

扩展阅读：
​ 为什么在Python里推荐使用多进程而不是多线程

5.互斥锁

lock = threading.lock() # 创建锁
lock.acquire() # 请求锁
lock.release() # 释放锁

6.递归锁

lock = threading.Rlock()

7.信号量

semaphore = threading.BoundedSemaphore(5) #最多同时允许5个线程同时运行

8.Events 事件

event = threading.Event()
event.clear # 将flag设置为“False”
event.set # 将flag设置为“True”
event.is_set # 判断是否设置了flag,用来初始化状态
event.wait # 会一直监听flag，如果没有检测到flag就一直处于阻塞状态

9.队列

import queue
  q = queue.Queue(maxsize = 3) 	# 实例化一个队列(先入先出),最多放3个元素
  q = queue.LifoQueue()		 	# 实例化一个队列(后入先出)
  q = queue.PriorityQueue()	 	# 实例化一个队列(可设置优先级)
  q.put()						# 放入队列
  q.qsize()					 	# 队列大小
  q.get()						# 从队列取数据
  q.get_nowait()				# 如果取不到会抛出一个异常

10.定时器

定时 n 秒后执行操作

	from threading import Timer
 	def hello():
		print("hello, world")

	t = Timer(1, hello)
	t.start()  					# after 1 seconds, "hello, world" will be printed

11.多线程的使用场景：

• IO操作不占用CPU
• 计算占用CPU
• python 多线程不适合 CPU 密集操作型的任务，适合IO操作密集型的任务

12.多进程语法：

from multiprocessing import Process
def f():
    print("123")
    p = Process(target=f, args=('bob',))

13.进程之间数据交换

进程之间数据是不共享的，所以不会出现多线程GIL带来的问题。多进程之间的通信通过Queue()或Pipe()来实现
Queue() # 使用方法跟threading里的queue差不多
pips() # Pipe的本质是进程之间的数据传递，而不是数据共享，这和socket有点像
manager() # 通过Manager可实现进程间数据的共享。
Manager() # 返回的manager对象会通过一个服务进程，来使其他进程通过代理的方式操作python对象。
manager # 对象支持 list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition,Event, Barrier, Queue, Value ,Array.

• 示例：

from multiprocessing import Process, Manager
with Manager() as manager:
    d = manager.dict()
    l = manager.list(range(5))

14.进程锁

进程锁存在的意义：共享设备，例如标准输出设备等
用法：

lock = lock()

15.进程池

apply() # 同步执行（串行）
apply_async() # 异步执行（并行）
terminate() # 立刻关闭进程池
join() # 主进程等待所有子进程执行完毕。必须在close或terminate()之后。
close() # 等待所有进程结束后，才关闭进程池。

windows 启动多进程：
​ 必须加入： if__name__ == '__main__':
# callback [回调函数]执行后再调用(通过主进程调用)
注：
poll.close()
poll.join() #必须先close 再 join

16.协程

安装 Creenlet    # Creenlet 手动切换  gevent 启动切换(对 gevent 的封装)
import Greenlet
gr1 = greenlet(test1)	# 启动一个协程
gr2 = greenlet(test2)
gr1.switch()

17.gevnet 爬网页

import urllib
# urllib 默认 不知道 gevent 需要monkey.path_all()
monkey.path_all() # 把但钱程序的所有的IO操作做标记

18.事件驱动

19.多路IO复用/异步IO复用

	select.select(inputs,outputs,)