我在 beautifulsoup4:: 中使用这个脚本
url = ["url1", "url2," "url3", ...]
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36'}
for item in url:
r = requests.get(item, headers=headers)
print(r.text)
刮掉很多缩短的链接。我不想向网站发送太多请求,因为在互联网上我看到它可能会导致拒绝服务攻击(我不知道它是否属实,但我不想要任何问题)。如何在连接到每个链接之间添加延迟?
繁花如伊
相关分类