python 的生产者和消费者模式
python 的生产者和消费者模式
一、生产者消费者模式概述
在并发编程中使用生产者和消费者模式能够解决大不多的并发问题。该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度。
二、为什么使用生产者消费者模式
在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题引入了生产者和消费者模式。
三、什么是生产者消费者模式
生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用通过等待消费者处理，直接扔给阻塞队列，消费者不着生产者拿数据，而是直接从阻塞队列中取，阻塞队列相当于一个缓冲区，平衡了生产者和消费者的处理能力。
四、代码案例
1、定义一个生产者
import threading
import queue
import time
#定义一个生产者
def producer():
count = 0
#判断队列中任务的数量
while q.qsize()<5:
print('第%s顿饭......',count)
q.put(count)
count+=1
time.sleep(1)
2、定义一个消费者
import threading
import queue
import time
#定义一个消费者
def consumer(name):
while True:
print("%s 吃了第%s饭" % (name,q.get()))
3、定义一个队列
import threading
import queue
import time
#定义一个队列
q = queue.Queue(maxsize=4)
t1 = threading.Thread(target=producer)
t2 = threading.Thread(target=consumer,args=('jibu',))
t1.start()
t2.start()
结果:
第%s顿饭...... 0 jibu 吃了第0饭 第%s顿饭...... 1 jibu 吃了第1饭 第%s顿饭...... 2 jibu 吃了第2饭 第%s顿饭...... 3 jibu 吃了第3饭 第%s顿饭...... 4 jibu 吃了第4饭 第%s顿饭...... 5 jibu 吃了第5饭 第%s顿饭...... 6 jibu 吃了第6饭 第%s顿饭...... 7 jibu 吃了第7饭 第%s顿饭...... 8 # 另外，如果供大于求或者求大于供，可以在相对小的一方在增加线程的数量
当然如果需要进一步优化可以让消费者执行完队列中所有任务的时候告诉生产者一声
import threading
import queue
import time
#定义一个生产者
def producer():
count = 0
#判断队列中任务的数量
for i in range(5):
print('第%s顿饭......',count)
q.put(count)
count+=1
time.sleep(1)
q.join()
#定义一个消费者
def consumer(name):
while True:
print("%s 吃了第%s饭" % (name,q.get()))
q.task_done()
print('消费者执行完了所有任务')
#定义一个队列
q = queue.Queue(maxsize=4)
t1 = threading.Thread(target=producer)
t2 = threading.Thread(target=consumer,args=('jibu',))
t1.start()
t2.start()
结果
第0顿饭......
jibu 吃了第0饭
消费者执行完了所有任务
第1顿饭......
jibu 吃了第1饭
消费者执行完了所有任务
第2顿饭......
jibu 吃了第2饭
消费者执行完了所有任务
第3顿饭......
jibu 吃了第3饭
消费者执行完了所有任务
第4顿饭......
jibu 吃了第4饭
消费者执行完了所有任务
结论:
生产者消费者的2个主要作用
- 程序的解耦合
- 程序的异步执行，提高了程序的运行效率(在排队的时候可以做别的事，过一会可以回来拿这个结果)
关于python 的生产者和消费者模式的文章就介绍至此，更多相关python生产者消费者模式内容请搜索编程宝库以前的文章，希望大家多多支持编程宝库！
python3通过gevent.pool限制协程并发数量的实现方法：协程虽然是轻量级的线程，但到达一定数量后，仍然会造成服务器崩溃出错。最好的方法通过限制协程并发数量来解决此类问题。server代码：#!/usr/bin/env pytho ...