继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

想搞大数据??你这样是自寻死路!!

慕仙森
关注TA
已关注
手记 94
粉丝 36
获赞 103

近日来,家住北京市朝阳区的程序员诸葛建国非常郁闷。因为他的公司审时度势,附庸风雅牵强附会的上了一套大数据系统,可谓麻雀虽小五脏俱全,包括了:

  1. 分布式文件系统HDFS

  2. 分布式数据库hbase,mongodb,kudu

  3. 分布式内存文件系统alluxio

  4. 用于多维分析的druid

  5. 实时流计算系统storm

正所谓,覆巢之下,安有完卵。这些产品虽然好用,但是却给诸葛建国带来了很多烦恼。为了安装软件,他要重复重复再重复的登录一台又一台的服务器;为了修改某个参数,他又要重复重复再重复的登录一台又一台的服务器;为了监控服务的运行状态,他要不择手段的查看服务的端口或者进程;为了启动某个挂掉的服务,他要记住那些诘屈聱牙晦涩难懂的linux命令。更让他细思极恐的是,如果某个底层服务中节点发生了增减或者迁移,所有依赖这个服务的服务都要修改配置并重新启动。所以这一段时间以来,诸葛建国殚精竭虑,夙夜忧叹,觉得自己搞大数据真是自寻死路,恨不得举身赴清池,自挂东南枝。

虽然他掌握了同时操作多台服务器的技巧,然而人心不足蛇吞象,诸葛建国欲壑难填得陇望蜀,他迫切的希望有产品能釜底抽薪,一劳永逸的解决他的问题。

他希望有一款产品能一站式管理大数据平台

管理多种服务

能全程图形化安装

图形化安装

能自动处理好服务中错综复杂的关系

自定义角色

能一键修改服务参数

修改参数

能一键执行他永远记不住的linux命令

一键执行命令

还好他的同事夏侯富贵给了诸葛建国一个提示。既然诸葛建国已经使用了cloudera来管理大数据组件,完全可以再次扩展cloudera manager,让它管理更多的分布式系统。

项目地址是https://github.com/kabike/jdt-csd



作者:大神带我来搬砖
链接:https://www.jianshu.com/p/e80343890578
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP