爬虫爬取数据

Question

爬取   j东 数据多了会不会被封ip? 有何技术可以防止被封？ 谢谢！

Answer 1

1. 爬取数据的时候,采用间隔的跳着遍历链接,打破爬虫顺序遍历的规律即可;2. 或者不定时间间隔,同时打破顺序遍历规律.这样会慢一些.