我的需求是:node 需要短时间内爬取一个接口数据若干次次,每一条的数据量大概有5M,得到的数据存储在mongo 中
我现在做了几种尝试:
当请求次数很少(20次左右),一切正常
当请求次数过多后(200+),数据能够请求到,但是不能顺利保存
当请求次数超过500次后,直接内存溢出了
我想问问有什么方案能让异步数量小于20次?