python - 使用请求从数百个网页获取内容

Question

我有一个包含数百个域的列表，我想检查该列表中的所有域中是否有字符串。

问题是我在请求上遇到类似超时的东西（每20 / 30个域）。我已经实现了一个 try-except 表单，因此当它发生时，程序会休眠 90 秒，因为我已经看到这可以解决问题。它确实解决了问题，但需要很长时间。

有没有更有效的方法来做到这一点？

Answer 1

与其睡觉，不如继续探索其他域，稍后再回到域。remaining= domainlistwhile(remaining):    workset=remaining    remaining=[]    for domain in workset:        try:             domain.probe()        except Exception:            remaining.append(domain)