superagent爬取网站出现重定向问题

Question

用superagent爬网页，遇到重定向，拿不到重定向后的响应体，该如何解决，如何获取重定向后的网页

我想获取501页面的res，但是他跳转到37018页面，导致我拿到501页面的空res。

测试了爬取不到的网页，发现有2种情况

1. 一开始进入网页响应码是200，过一小会刷新变成304

2. 一进入响应码从301重定向到200，过一小会刷新变成304

测试了能爬取到的网页，发现有2种情况

1. 一进入响应码从301重定向到200，过一小会刷新变成304

2. 一开始进入网页响应码是200，过一小会刷新变成304

啊，我擦，那就没什么区别啦，小白不知道这跟我爬不到内容有没有关系，orz

再再补充

问题不在重定向，而在于我的正则表达式匹配问题

Answer 1

你都不看官方文档的吗？Following redirectsBy default up to 5 redirects will be followed, however you may specifythis with the res.redirects(n) method:request   .get('/some.png')   .redirects(2)   .end(callback);