关于浏览器端的JavaScript爬虫内存溢出的问题

我的需求是实时获取文字直播网站的数据(秒级同步,不使用频繁请求的方式)
我的做法是打开目标网站,在控制台执行js代码。具体步骤:先获取第一条数据,数据id存到js变量,定时0.1秒获取列表第一条数据,判断这条数据跟之前的js变量是否一致,一致则跳过,不一致则将当前数据存进数组,并把这条数据id赋值到js变量(充当下一次的第一个id),递归往下获取下一个兄弟dom,一直到找到最初的id号为止。然后把数据通过ajax发到我的后台。
我的问题是运行几分钟到十几分钟火狐浏览器会出现“某个网页让您的浏览器变慢了。您想如何处理呢”,谷歌浏览器则直接卡死不动。我有三个目标网站,其中一个能正常运行几天,另外两个则出现以上问题。
火狐截图
代码地址:github
希望好心的朋友能帮我运行分析一下代码。
繁花如伊
浏览 409回答 2
2回答

莫回无

如果要发送到后台的话建议使用后台去抓取或者像一楼说的直接抓取源站点请求的地址js频繁请求可能是你后台处理速度慢或者次数过多会导致卡死
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

JavaScript