请问Python线程处理多个bash子进程？

Question

Python线程处理多个bash子进程？

如何使用线程和子处理模块生成并行bash进程？当我启动线程时，首先回答如下：如何在Python中使用线程？，bash进程按顺序运行，而不是并行运行。

Answer 1

您不需要线程并行运行子进程：from subprocess import Popencommands = [     'date; ls -l; sleep 1; date',     'date; sleep 5; date',     'date; df -h; sleep 3; date',     'date; hostname; sleep 2; date',     'date; uname -a; date',]# run in parallelprocesses = [Popen(cmd, shell=True) for cmd in commands]# do other things here..# wait for completionfor p in processes: p.wait()限制您可以使用的并发命令的数量multiprocessing.dummy.Pool，它使用线程并提供与multiprocessing.Pool所使用的程序：from functools import partialfrom multiprocessing.dummy import Poolfrom subprocess import call pool = Pool(2) # two concurrent commands at a timefor i, returncode in enumerate(pool.imap(partial(call, shell=True), commands)):     if returncode != 0:        print("%d command failed: %d" % (i, returncode))这个答案演示了限制并发子进程数量的各种技术。它展示了多进程、池、并发、期货、线程+基于队列的解决方案。您可以在不使用线程/进程池的情况下限制并发子进程的数量：from subprocess import Popenfrom itertools import islice max_workers = 2  # no more than 2 concurrent processesprocesses = (Popen(cmd, shell=True) for cmd in commands)running_processes = list(islice(processes, max_workers))  # start new processeswhile running_processes:     for i, process in enumerate(running_processes):         if process.poll() is not None:  # the process has finished             running_processes[i] = next(processes, None)  # start new process             if running_processes[i] is None: # no new processes                 del running_processes[i]                 break在unix上，您可以避免繁忙的循环和封锁os.waitpid(-1, 0)，等待任何子进程退出。.

Answer 2

这是因为它是应该做的，您想要做的事情不是多线程，而是多进程-参见栈页