Presto集群如何配置最佳的节点查询内存参数

来源:4-6 开发Java程序访问Presto

慕丝5537330

2019-07-28 15:32

叁金老师,各位小伙伴好,

    最近工作中刚好在进行presto的poc测试,搭建的Presto集群,1个coordinator节点和2个woker节点(均4核32G),连接Hive数据源,然后count(1)一张1.4亿的数据量的表,查询时间为27s,后来有引入了2个相同配置的worker节点,稍微改动了一下节点查询内存参数,再进行相同查询时,结果和2个worker的集群的查询时间差不多,并没有很大幅度的降低查询时间,请问叁金老师和各位小伙伴,在集群的最大内存参数设置上有没有什么好的经验可共享?以使集权发挥最大效果,希望能通大家沟通、交流和学习,谢谢  。

jvm.propertis文件中的-Xmx**G参数

config.properties文件中的 

query.max-memory=**GB

query.max-memory-per-node=*GB

query.max-total-memory-per-node=*GB


写回答 关注

1回答

Presto实战与演练

学习并操作Presto,实战数据查询及可视化系统。

3854 学习 · 22 问题

查看课程

相似问题