手记

想从事大数据相关的高工资工作,首先你得理清大数据行业分布

现在的大数据是很红火的,薪资比通常的软件行业要高,所以很多年轻人想进入这个行业。但并不是每个大数据相关的工作都是高薪的,主要还是根据自己的专长进行选择发展。大数据涉及的知识很广泛,如果要当全能选手,是非常艰难,一个人的精力也是有限的。进行细分选择,然后专攻才是正道。要了解学习大数据,如果是程序员,其实进入还是很方便的,主要还是大数据开发方向,要学习的内容,主要是在自己以前的基础上进行扩展延伸。如果是进入大数据分析则是相当于另一个领域,运维方向来说,也是比较容易切入的。如何学习了解大数据,找准自己的方向。

大数据涉及到的知识领域比较宽:大规模并行处理数据库、数据挖掘、数据分析、分布式文件系统、分布式数据库、云计算平台、互联网、可扩展的存储系统;还有开发技术。更细致的就是涉及到:数据采集(何处收集数据、如果利用工具采集、清洗、转换、然后集成,并加载到数据仓库中成为分析的基础);数据存取相关的数据库以及存储架构,比如:云存储,分布式文件系统;数据处理;数据挖掘、模型预测及建立、及统计分析;大数据开发技术,比如:Java、python等等。

1、开发方向。能够按照需求开发出大数据相关应用,分析结果。。掌握Java、 Python、Scala等开发语言,以及关系型与非关系型数据库,比如:mysql、oracle等常用的,和非关系型的Nosql数据库,以及应对非结构化数据处理需求的数据处理框架,比如:Hadoop,它包括HDFS,MapReduce和HBase,MapReduce是数据处理框架,HBase和Cassandra主要是数据库。当然更高级一些,能够精通一些算法,成为组建代码提交者,那就更好了。

2、大数据分析师方向。需要资料的可以加QQ群:834325294包括数据采集、数据清洗、数据分析、建立模型等等。掌握一些工具,比如熟练运用Excel、StormRapidMiner等等。当然能掌握大数据平台数据分析方法、掌握一些语言,比如Python、Scala、SQL等,能处理各种类型的复杂数据,能从中提取有价值的信息。如果是作为大数据科学家,那就更要掌握统计、概率线性代数等数据理论,除了书籍数据ETL过程、业务过程外,还有能进行模型预测及建立等工作,到这一步收入那是相当可观了。

3、大数据运维方向。基本很少涉及到开发和分析,但也要熟悉一些就最好,主要是对大数据软硬件及监测工具要很熟练的运用。比如:掌握Linux的配置及运用,能搭建Hadoop集群,进行大数据软件的维护,日常维护及监控等,当然更进一步能熟练掌握Shell、Python等开发工具,运行脚本语言自动化集群部署、管理和监控,掌握常用组建的安装、优化,对整体进行优化改善及熟悉数据中心的安全策略。

大数据是一门需要掌握很多知识的领域,一般的人主要是选择这几个方向进行。作为程序员来说,转入这个是相当快速的,因为主要是进行开发的工作,已经具备了开发的基础。但大数据公司并不容易存活,数据来源,分析结果如何走向,都是要具有相当的背景基础的。




作者:大数据首席数据师
链接:https://www.jianshu.com/p/8fa967898b9b


0人推荐
随时随地看视频
慕课网APP