同时命中URL和处理结果

Question

我有一个要求，我需要每分钟访问多达2000个URL并将响应保存到数据库。必须在每分钟开始后的5秒内点击URL（但响应可以等待）。然后，在下一分钟，将发生同样的情况，依此类推。因此，这是关键时间。

我尝试使用Python多处理和线程解决问题。但是，某些URL可能最多需要30分钟才能响应，这将阻止所有其他URL被处理。

我也愿意使用较低级别的内容（例如C），但不知道从哪里开始。

Answer 1

我不确定我是否正确理解了问题，但是如果您使用的是“ n”个流程，并且所有“ n”个流程都卡在响应中，那么更改语言将无法解决您的问题。由于瓶颈是您请求的服务器，而不是您的本地驱动程序代码。您可以通过切换到异步机制来消除这种依赖性。不要等待回应！让回调为您处理！