关于hadoop 系统是怎样增加节点的?

hadoop 系统是怎样增加节点的


慕桂英546537
浏览 1261回答 3
3回答

凤凰求蛊

直接用机器搭建Hadoop集群是一个相当痛苦的过程,尤其对初学者来说。他们还没开始跑wordcount,可能就被这个问题折腾的体无完肤了。而且也不是每个人都有好几台机器对吧。你可以尝试用多个虚拟机搭建,前提是你有个性能杠杠的机器。我的目标是将Hadoop集群运行在Docker容器中,使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。其实这个想法已经有了不少实现,但是都不是很理想,他们或者镜像太大,或者使用太慢,或者使用了第三方工具使得使用起来过于复杂。下表为一些已知的Hadoop on Docker项目以及其存在的问题。项目 镜像大小 问题sequenceiq/hadoop-docker:latest 1.491GB 镜像太大,只支持单个节点sequenceiq/hadoop-docker:2.7.0 1.76 GBsequenceiq/hadoop-docker:2.60 1.624GBsequenceiq/ambari:latest 1.782GB 镜像太大,使用太慢,使用复杂sequenceiq/ambari:2.0.0 4.804GBsequenceiq/ambari:latest:1.70 4.761GBalvinhenrick/hadoop-mutinode 4.331GB 镜像太大,构建太慢,增加节点麻烦,有bug我的项目参考了alvinhenrick/hadoop-mutinode项目,不过我做了大量的优化和重构。
打开App,查看更多内容
随时随地看视频慕课网APP