生产消费者模式与python+redis实例运用（基础篇）

        根据这个图，我们举个简单的例子：假如你去某个餐厅吃饭，点了很多菜，厨师要一个一个菜的做，一个厨师不可能同时做出所有你点的菜，于是你有两个选择：第一个，厨师把所有菜都上齐了，你才开始吃；还有一个选择，做好一个菜，端上桌一个你开始吃一个。这里的厨师就是生产者，而你就是消费者，菜就是图中的product（产物）。我们可以很明显的感觉到，第一种选择会浪费很多时间，因为生产者要把所有产物生产完毕，消费者才开始从存储中介当中去取，而且可能会浪费大量的内存空间，上万条数据读到内存中或许你没有觉得，但是一旦数据量大了，就会很耗内存（这里指代存储中介可能是吧数据读到内存中）；于是乎，生产消费者的优势就出现了。

        在开始之前我们要明白，既然是生产消费者模式，那么我们的代码中就一定需要一个生产者，也需要一个消费者，在设计的时候我们要考虑到：1、生产者的速度跟不上消费者消费的速度，2、消费者速度跟不上生产者速度且存储中介因为某些原因只能容纳多少数据量。

        针对以上第两点问题，这个时候对于资源就需要经过锁或者睡眠或者其他的操作来合理的分配，我们可以让消费者每次取的时候看看存储中介中是否有值，没有值的话就等待一会再取，生产者每次往存储中介中放数据的时候看一下是否快满了，如果快满了也一样睡眠一会再看是否可以放。针对消费者消费过慢的情况，我们可以在代码中开多进程和协程来解决这个问题，就好比这桌菜又多上得有快，我们就可以请几个朋友一起来吃，共同消费。对于生产消费者模式如果加锁，注意对于资源不要死锁就行，这部分会在《生产消费者模式与python+redis实例运用（中级篇）》里面写到

        好了，基本原理和问题解决方针都有了，我们可以开始最基础的操作来实现一波：

        首先是生产者的代码：

        

import time
import redis

pool=redis.ConnectionPool(host='localhost', port=6379,db=1,decode_responses=True)
r=redis.Redis(connection_pool=pool)


def product(i):


    length=r.llen("goods2")
    print(length)
    if length>5000:
        print("长度过大睡一会")
        time.sleep(1)
        product(i)
    else:
        #生产者
r.lpush("goods2", "good1"+str(i))
        print("加入一个值睡一会")
        # time.sleep(5)
if __name__ == '__main__':
    # 此处表示循环10000次，往redis里面放10000次数据
for i in range(10000):
        product(i)

我们可以看到，每次当redis中的数据量大于5000的时候我们都让程序sleep一会，然后再去判断是否可以放，不能再睡1s。

接下来是消费者的代码：

 

from DBUtil import *
from clickhouse_driver import Client
import datetime
import time
import pandas as pd
from pandasql import sqldf
import redis


pool=redis.ConnectionPool(host='localhost', port=6379,db=1,decode_responses=True)
r=redis.Redis(connection_pool=pool)

def users():
    length = r.llen("goods2")
    print(length)
    while length>0:
        goods = r.lpop("goods2")
        print(goods)
        if str(goods)=="None":
            print("无值多等等")
            time.sleep(10)

    else:
        print("无值等等")
        time.sleep(10)
        users()

if __name__ == '__main__':
    users()

我们也可以看到，在redis队列中没有数据的时候，我们让消费者等10s，再次去请求。

好了，基础篇介绍到这里，接下来我们会介绍如何解决生产者过快，消费者过慢的问题解决方式以及生产消费者在python中实例运用，欢迎收看！