问答详情
源自:7-4 数据指标统计---基于主播的TOPN计算

中间数据存储在map中,数据量大能能解决吗?

比如reduce阶段计算得到了<主播id,主播的时长>。然后放在map中。

如果主播id很多,map中放不下,怎么办?

提问者:慕尼黑1234676 2020-03-20 16:24

个回答

  • 徐老师
    2020-03-21 11:27:18
    已采纳

    可以有这些方案
    1:如果内存中存放下,可以考虑增加这个任务的内存
    2:或者可以考虑外部存储,例如:redis,把这些数据存放到redis中,这样针对一些需要在内存中产生很多中间临时结果的场景也是很适用的