恢复传递给 multiprocessing.Process 的函数的返回值的最快方法

Question

我有一个繁重的批处理工作，所以我把它切成 30 个（我的 CPU 数量）小批量，我做了 30 个multiprocessing.Process来做它们（出于某种原因我没有使用multiprocessing.Pool）。对于返回值，我使用了 30 multiprocessing.Queue。这是我的代码的概述：

    def minibatch(q, data, i):

        do_some_work_data_i

        q.put(return_value)

    if __name__ == '__main__':

        q1 = Queue()

        p1 = Process(target=minibatch, args=(q1, data[1], 1))

        p1.start()

        q2 = Queue()

        p2 = Process(target=minibatch, args=(q2, data[2], 2))

        p2.start()

        first_return_value = q1.get()

        second_return_value = q2.get()

        p1.join()

        p2.join()

现在，我发现它太慢了！如果每个小批量需要 10 秒，我希望我的代码运行大约需要 10 秒，但它需要更多。那我应该怎么做呢？

Answer 1

运行时顺序processing&nbsp;time&nbsp;*&nbsp;number&nbsp;of&nbsp;runs运行时并行(processing&nbsp;time)&nbsp;*&nbsp;(number&nbsp;of&nbsp;runs&nbsp;/&nbsp;number&nbsp;of&nbsp;parallel&nbsp;processes)&nbsp;+&nbsp;(process&nbsp;start&nbsp;overhead&nbsp;*&nbsp;number&nbsp;parallel&nbsp;processes)如果开始时您的处理时间不长，那么创建新流程的开销将超过您从并行性中获得的节省。如果您的顺序批处理需要大约 300 秒，那么您的并行实现可能只需要 <11 秒，但如果您的顺序批处理只需要 10 秒，那么在 30 个进程上运行它实际上可能需要更长的时间。