大数据火了几年了,但是今年好像进入了全民大数据时代,本着对科学的钻(zhun)研(bei)精(tiao)神(cao),我在17年年初开始自学大数据,后经过系统全面学习,于这个月跳槽到现任公司。
现在已经从之前的java后端开发正式转大数据开发,项目数据50T,日均数据增长20G左右,大概是需求问题吧,工资待遇较上一份翻了一倍(这是重点)。
当然,我的分享不是能让各位升职加薪跳槽,只是对于技术人来说,技多不压身,以下为个人经验分享,不喜勿喷。
以上为背景,下面我要开始我的表(ZHUANG)演(B)了:
主要讲一下几点:
一、大数据的职业规划方向
二、大数据开发工程师需get技能
三、如何系统的学习
四、资料分享(视频、电子书、面试资料、项目源码)
一、大数据的职业规划方向
学习目的在于工作上的运用,以下为大数据方向的三个岗位,附上薪资待遇。
1. 大数据售前工程师、大数据运维工程师(HCNA)10-15K
2. 大数据开发工程师、大数据平台开发工程师(HCNP)15K-20K
3. 大数据科学家、大数据架构师、大数据高级分析师(HCIE)25K-50K
4. 其他(数据挖掘工程师、仓库采集开发工程师)12k-25K
二、大数据开发工程师需get技能
附上一份比较权威的大数据工程师技能图
总结如下:
必须技能10条:
01.Linux 基本操作
02.python&爬虫介绍
03.hadoop分布式集中
04.离线数据处理
05.实时数据处理
06.ETL与环境相关
07.大数据应用与数据挖掘
08.java高级(虚拟机、并发)
09..HBase(JavaAPI操作+Phoenix )
10. Kafka
11. Spark (Core+sparksql+Spark streaming )
12.CDH集群
这张图可能对技能的掌握说的更全面。
三、如何系统的学习
我本人是17年年初开始自学,自学了Linux 基本操作,这个很好学,领悟能力还可以就看书,不行就看视频重复看,大概一周可以搞定。
然后就学习了CDH集群搭建,Python爬虫,我是java后端开发,这些网上找点资料看点书,很好学,上手也很快。
这里重点推荐《深入理解Java虚拟机》、《Java高并发实战》必看书籍。
接着开始学hadoop,hbase,hive,scala,spark,python,kafka这些点,啃到hive的时候,人就有点晕了,按理说编程语言有相通性的,我买了相关书籍《HBase权威指南》《Hive开发指南》《快学Scala》《Spark 快速大数据分析》,然后逛了很多人的博客,我不知道自学的人是否有跟我一样的困扰,书的内容感觉可以看懂,但是看完也不知道怎么用,然后也不会将所学的这些东西进行拼装和运用。
然后我就停留在这一阶段,停了1个多月的学习计划,后面公司同事离职跳槽跟女友吵架分手等等遇到一些事情,我又想起还是要规划下自己的职业生涯,顺手报了个网校,遇到了还算不错的老师,这个学习周期3个月就算结业了。计划是想熬完过年再跳,跳槽的人都知道的,金三银四~
这里提醒一下,如果你觉得自己看书效率太慢,或者容易思维不通的情况,你可以在网上搜集一些课程,跟着课程走也OK 。这个完全根据自己情况决定。如果看书效率不高就很网课,相反的话就自己看书。自制力不强的人就没什么好推荐的,你什么都不适合学。
以上反正我把需要掌握和学习的知识点告诉你了,你自己有时间和精力的话,就对应的去研究就好。
作者:yoku酱
链接:https://www.jianshu.com/p/f6c3ee0e11ee