如何并行化一个简单的Python循环？

Question

如何并行化一个简单的Python循环？

这可能是一个微不足道的问题，但我如何在python中并行化以下循环？

# setup output listsoutput1 = list()output2 = list()output3 = list()for j in range(0, 10):
    # calc individual parameter value
    parameter = j * offset    # call the calculation
    out1, out2, out3 = calc_stuff(parameter = parameter)

    # put results into correct output list
    output1.append(out1)
    output2.append(out2)
    output3.append(out3)

我知道如何在Python中启动单线程，但我不知道如何“收集”结果。

多个过程也可以 - 对于这种情况最简单的事情。我正在使用当前的Linux，但代码应该在Windows和Mac上运行。

并行化此代码的最简单方法是什么？

Answer 1

为了并行化一个简单的for循环，joblib为多处理的原始使用带来了很多价值。不仅是短语法，还有迭代的透明聚合，当它们非常快（消除开销）或捕获子进程的回溯时，有更好的错误报告。