使用多处理队列，池和锁定的简单示例

Question

我试着阅读http://docs.python.org/dev/library/multiprocessing.html上的文档，但我仍然在努力处理多处理队列，池和锁定。现在我能够构建下面的示例。

关于队列和池，我不确定我是否以正确的方式理解了这个概念，所以如果我错了，请纠正我。我想要实现的是在时间处理2个请求（在这个例子中数据列表有8个）所以，我应该使用什么？池创建2个进程，可以处理两个不同的队列（最多2个）或者我应该只使用Queue每次处理2个输入？锁定将正确打印输出。

import multiprocessing

import time

data = (['a', '2'], ['b', '4'], ['c', '6'], ['d', '8'],

        ['e', '1'], ['f', '3'], ['g', '5'], ['h', '7']

)

def mp_handler(var1):

    for indata in var1:

        p = multiprocessing.Process(target=mp_worker, args=(indata[0], indata[1]))

        p.start()

def mp_worker(inputs, the_time):

    print " Processs %s\tWaiting %s seconds" % (inputs, the_time)

    time.sleep(int(the_time))

    print " Process %s\tDONE" % inputs

if __name__ == '__main__':

    mp_handler(data)

Answer 1

这可能与问题没有100％的关联，但在我搜索使用队列的多处理的示例时，这首先出现在谷歌上。这是一个基本的示例类，您可以实例化并将项目放入队列中，并且可以等到队列完成。这就是我所需要的一切。from multiprocessing import JoinableQueuefrom multiprocessing.context import Processclass Renderer:    queue = None    def __init__(self, nb_workers=2):        self.queue = JoinableQueue()        self.processes = [Process(target=self.upload) for i in range(nb_workers)]        for p in self.processes:            p.start()    def render(self, item):        self.queue.put(item)    def upload(self):        while True:            item = self.queue.get()            if item is None:                break            # process your item here            self.queue.task_done()    def terminate(self):        """ wait until queue is empty and terminate processes """        self.queue.join()        for p in self.processes:            p.terminate()r = Renderer()r.render(item1)r.render(item2)r.terminate()