python网络核心编程--进程

一：进程

1:创建多进程

方法一：常用的

import multiprocessing

#方式一

def task(arg):

print(arg)

if__name__=='__main__':

 

for i in range(10):

p=multiprocessing.Process(target=task,args=(i,))

p.start()

 

#方式二：

def task(arg):

print(arg)

 

 

def run():

for i in range(10):

p=multiprocessing.Process(target=task,args=(i,))

p.start()

if __name__=='__main__':

run()

 

方法2：面向对象（继承）

import multiprocessing

  class MyProcess(multiprocessing.Process):

    def run(self):

        print('当前进程',multiprocessing.current_process())

  

  def run():

    p1 = MyProcess()

    p1.start()

  

    p2 = MyProcess()

    p2.start()

  

  if __name__ == '__main__':

    run()

  # 当前进程 <MyProcess(MyProcess-1, started)>

# 当前进程 <MyProcess(MyProcess-2, started)>

 

 

2:进程之间数据不共享

案例：

import multiprocessing
data_list = []

def task(arg):
    data_list.append(arg)
    print(data_list)

def run():
    for  i in range(3):
        p = multiprocessing.Process(target=task,args=(i,))
        p.start()

if __name__ == '__main__':
    run()

# [0]
# [1]
# [2]

 

 

3:常用方法

join/deamon/name/multiprocessing.current_process()/multiprocessing.current_process().ident/pid

import time
import multiprocessing
def task(arg):
    p = multiprocessing.current_process() #
    print(p.name)  #获取进程名
    print(p.ident)  #获取进程id
    print(p.pid)  #获取进程id

    time.sleep(2)
    print(arg)


def run():
    print('111111111')
    p1 = multiprocessing.Process(target=task,args=(1,))
    p1.name = 'pp1'  #设置进程名
    # p1.daemon = True  # 让主线程不再等待子线程
    p1.start()

    print('222222222')
    # p1.join()让主线程等待子线程

 

 

 

二：进程间的数据共享

进程之间的数据是不共享的，那么如何才能使得进程之间的数据共享呢？

 

方式一：Queue队列

 

import multiprocessing

  import threading

  import queue

  

  q = multiprocessing.Queue()

  

  def task(arg,q):

    q.put(arg)

  

  def run():

    for i in range(10):

        p = multiprocessing.Process(target=task,args=(i,q,))

        p.start()

  

    while True:

        v = q.get()

        print(v)

  if __name__ == '__main__':  #windows系统里需要加上此句，否则报错，Linux不用

    run()

 

 

方式二：Manager 字典

Linux

import multiprocessing

m = multiprocessing.Manager()
dic = m.dict()

def task(arg):
    dic[arg] = 100

def run():
    for i in range(10):
        p = multiprocessing.Process(target=task,args=(i))
        p.start()

    input('>>>')
    print(dic.values())

 

windows

方式一：

import time
import multiprocessing

def task(arg,dic):
    dic[arg] = 100

if __name__ == '__main__':
    m = multiprocessing.Manager()
    dic = m.dict()
    for i in range(10):
        p = multiprocessing.Process(target=task, args=(i,dic))
        p.start()
        p.join()

    print(dic.values())

经过多次实际验证，主进程执行完毕后，子进程还在运行，那么，如果子进程用主进程的数据，由于主进程已经关闭，
18 所以就会找不就会报错。如何解决此报错问题呢？第一种方法就是让主进程等待所有子进程运行完毕之后在关闭，
19 第二种方法是就是在主进程中有一个循序，循环中判断进程存活的数量，如果子进程全关了，就退出循环，这样主进程就可以关闭了

 

 

方式二：

import time
import multiprocessing

def task(arg,dic):
    dic[arg] = 100
if __name__ == '__main__':
    m = multiprocessing.Manager()
    dic=m.dict()

    process_list = []
    for i in range(5):
        p = multiprocessing.Process(target=task,args=(i,dic,))
        p.start()

        process_list.append(p)

    while True:
        count = 0
        for p in process_list:
            if not p.is_alive():  #判断子进程是否存活
                count+=1
        if count == len(process_list):
            break
    print(dic)

 

 

 

方式三：数据共享更多用这种方式（伪代码）

 

def task(arg,dic):

    pass

 

if __name__ == '__main__':

    while True:

        # 连接上指定的服务器

        # 去机器上获取url

        url = 'adfasdf'

        p = multiprocessing.Process(target=task, args=(url,))

        p.start()

 

 

连接的获取方式：

 

 

 

 

三：进程锁

1：为什么要有进程锁？

因为进程在共享数据时，需要安全机制

 

2：案例：

import time
import threading
import multiprocessing

lock = multiprocessing.RLock()
def task(arg):
    print('鬼子来了')
    lock.acquire()
    time.sleep(2)
    print(arg)
    lock.release()


if __name__ == '__main__':
    p1 = multiprocessing.Process(target=task,args=(1,))
    p1.start()

    p2 = multiprocessing.Process(target=task, args=(2,))
    p2.start()

 

 

四：进程池

案例：

import time
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
def task(arg):
    time.sleep(2)
    print(arg)

if __name__ == '__main__':
    pool = ProcessPoolExecutor(5)
    for i in range(10):
        pool.submit(task,i)

 

五：爬虫模块（request/beautiful）

 

1：安装的方式

方式一：终端安装

 

pip3 install requests

pip3 install beautifulsoup4

 

安装时遇到问题：

（1）找不到内部指令？

       方式一：绝对路径安装

                                   C:\Users\Administrator\AppData\Local\Programs\Python\Python36\Scripts\pip3  install requests

       方式二：把此路径加入到sys.path里面

                                   C:\Users\Administrator\AppData\Local\Programs\Python\Python36\Scripts

                                  

       　　　　　　　　pip3  install requests

方式二：pycharm安装

 

 

2：requests模块

1:作用：

模拟浏览器向服务器发请求

2:本质：

　　-创建socket客户端

　　-连接

　　-发送请求

　　-接收请求

　　-断开连接

 

3：案例：

import requests
# 模拟浏览器发送请求

# 内部创建 sk = socket.socket()

# 和抽屉进行socket连接 sk.connect(...)

# sk.sendall('...')

# sk.recv(...)
r1 = requests.get(
    url='https://dig.chouti.com/',
    headers={
            'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36'
        }
)
print(r1.text)

 

 

3：bs4

作用：以前爬取了网页需要正则来截取出来，而bs4就代替正则把数据截取出来

 

案例：

import requests
from bs4 import BeautifulSoup
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor


# 模拟浏览器发送请求
# 内部创建 sk = socket.socket()
# 和抽屉进行socket连接 sk.connect(...)
# sk.sendall('...')
# sk.recv(...)

def task(url):
    print(url)
    r1 = requests.get(
        url=url,
        headers={
            'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36'
        }
    )

    # 查看下载下来的文本信息
    soup = BeautifulSoup(r1.text,'html.parser')  #html.parser：截取的格式
    print(soup.text)    #content输出的是字节
    content_list = soup.find('div',attrs={'id':'content-list'})
    for item in content_list.find_all('div',attrs={'class':'item'}):
        title = item.find('a').text.strip()
        target_url = item.find('a').get('href')
        print(title,target_url)

def run():
    pool = ThreadPoolExecutor(5)
    for i in range(1,50):
        pool.submit(task,'https://dig.chouti.com/all/hot/recent/%s' %i)


if __name__ == '__main__':
    run()