一个关于 node 爬虫大批量请求的问题

我的需求是:node 需要短时间内爬取一个接口数据若干次次,每一条的数据量大概有5M,得到的数据存储在mongo 中

我现在做了几种尝试:

  1. 当请求次数很少(20次左右),一切正常

  2. 当请求次数过多后(200+),数据能够请求到,但是不能顺利保存

  3. 当请求次数超过500次后,直接内存溢出了

我想问问有什么方案能让异步数量小于20次?


繁星淼淼
浏览 278回答 1
1回答
打开App,查看更多内容
随时随地看视频慕课网APP