继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

做开发的技术人员要考虑哪些因素才能做大数据?

慕码人8056858
关注TA
已关注
手记 1238
粉丝 350
获赞 1323

大数据人才需求迫切,高薪资、高福利,因此转行的大数据的人也很多,那么对于一些普通技术开发人员,在进行转行大数据开发时有哪些必要的考虑因素呢?

关于从事一个行业的要求,最简单的方式莫过于从求职网站上查看信息,下面就是针对于大数据行业的一些职业要求,而这也是转行大数据人必须要考虑的。

webp

请输入描述

1、丰富的数据开发经验,对数据处理、数据建模、数据分析等有深刻认识和实战经验。

2、熟悉SQL,有一定的SQL性能优化经验。

3、熟练掌握Java语言,MapReduce编程,脚本语言Shell/Python/Perl之一。

4、业务理解力强,对数据、新技术敏感,对云计算、大数据技术充满热情。

5、深入理解Map-Reduce模型,对hadoop、Spark、Storm等大规模数据存储与运算平台有实践经验。

webp

请输入描述

这五点因素并代表全部,只是为大家罗列出一些基础的技能,但这也能够给一些转行者提供一些方向。

对于技术人员转行大数据,最为普遍的是java人员的转行,毕竟拥有了java基础,转行会更快一点。大数据的主流平台hadoop是基于Java开发的,所以Java程序员往大数据开发方向转行从语言环境上更为顺畅,另外很多基于大数据的应用框架也是Java的,所以在很多大数据项目里掌握Java语言是有一定优势的。当然,hadoop核心价值在于提供了分布式文件系统和分布式计算引擎,对于大部分公司而言,并不需要对这个引擎进行修改。这时候除了熟悉编程,你通常还需要学习数据处理和数据挖掘的一些知识。尤其是往数据挖掘工程师方向发展,则你需要掌握更多的算法相关的知识。下面我们不妨给出一个java转行大数据的学习线路图,希望能够助力你更加快速的转型。

第一步:分布式计算框架

掌握hadoop和spark分布式计算框架,了解文件系统、消息队列和Nosql数据库,学习相关组件如hadoop、MR、spark、hive、hbase、redies、kafka等;

第二步:算法和工具

学习了解各种数据挖掘算法,如分类、聚类、关联规则、回归、决策树、神经网络等,熟练掌握一门数据挖掘编程工具:Python或者Scala。目前主流平台和框架已经提供了算法库,如hadoop上的Mahout和spark上的Mllib,你也可以从学习这些接口和脚本语言开始学习这些算法。

第三步:项目实践

可以从网上找一些相关的项目,或者比赛等,当然,参加实习也是一个不错的选择。

webp

请输入描述

拥有java基础固然能够让你更加快速的理解大数据,但是,保持一颗谦虚的心,才能够让你真正的成为一名大数据人才,毕竟大数据并不只是java能够支持的,所学习的东西还有很多。过分的自信是很多java开发人员转行失败的原因。

年龄不是问题,很多在技术岗位从事多年的人开始转行大数据,他们考虑最多的就是年龄,毕竟30多岁的年纪,如果转行失败,那么所带来的影响太大了。其实,这一点并不是没法解决,关键是看你如何去对待转行,30岁你的职场生涯也仅仅是开始了一小段,后期你还有很多的路要走,所以,既然你想要学,那么不妨给自己一个机会。学可能有几率不成功,但是不学那么永远不会成功。老年大学都在全国开展了,而你在而立之年还有什么可顾虑的。

其实,普通技术人员转行大数据的优势有很多,跨越了0基础的瓶颈,你将能更快的学懂大数据,而且,多年的职场经历,也能够让你在未来的发展中走的更远。现在大数据正在起步,未来的前景必将非常巨大,普通人员转行大数据开发也必将会成为一波不小的趋势。



作者:尚学先生
链接:https://www.jianshu.com/p/387aa25682e1


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP