用Python发送10万个HTTP请求的最快方法是什么？

Question

用Python发送10万个HTTP请求的最快方法是什么？我正在打开一个包含10万个URL的文件。我需要向每个URL发送一个HTTP请求并打印状态代码。我正在使用Python2.6，到目前为止，我研究了Python实现线程/并发的许多令人困惑的方式。我甚至看过巨蟒竞合库，但不知道如何正确编写此程序。有没有人遇到过类似的问题？我想，一般来说，我需要知道如何尽可能快地用Python执行数千个任务-我想这意味着‘并发’。

Answer 1

解决方案龙卷风异步网络库from tornado import ioloop, httpclient i = 0def handle_request(response):     print(response.code)     global i     i -= 1     if i == 0:         ioloop.IOLoop.instance().stop()http_client = httpclient.AsyncHTTPClient()for url in open('urls.txt'):     i += 1     http_client.fetch(url.strip(), handle_request, method='HEAD')ioloop.IOLoop.instance().start()

Answer 2

在这里，线程绝对不是答案。它们将提供进程瓶颈和内核瓶颈，以及如果总体目标是“最快的方式”则不可接受的吞吐量限制。一点点twisted及其异步HTTP客户会给你更好的结果。