Scrapy Access Denied爬取网站头部

我想抓取一个网站，但出现下一个错误：

'<head>\n<title>Access Denied</title>\n</head>'

我只是在控制台中尝试：

scrapy shell https://www.zara.com/es/en/
response.css("head").get()

我做错了什么？与User-Agent有关吗？网站有没有反爬的方法？怎样才能抓取这个网站？

繁花如伊

浏览 107回答 1

芜湖不芜

在 settings.py 中设置USER_AGENT = 'zara (+http://www.yourdomain.com)'。解决问题。如果您愿意，也可以放置自己的用户代理。

0 0

随时随地看视频慕课网APP