中间数据存储在map中，数据量大能能解决吗？
来源：7-4 数据指标统计---基于主播的TOPN计算
慕尼黑1234676
2020-03-20 16:24
比如reduce阶段计算得到了<主播id,主播的时长>。然后放在map中。
如果主播id很多，map中放不下，怎么办？
写回答
关注
1回答
-
- 徐老师
- 2020-03-21 11:27:18
可以有这些方案
1：如果内存中存放下，可以考虑增加这个任务的内存
2：或者可以考虑外部存储，例如：redis，把这些数据存放到redis中，这样针对一些需要在内存中产生很多中间临时结果的场景也是很适用的
快速入门Hadoop3.0大数据处理
快速入门Hadoop3.0数据处理，轻松迈入大数据领域
16787 学习 · 74 问题
相似问题