大数据开发工程师都需要学什么大数据课程?

学习大数据需要的基础：java SE、EE(SSM)、MySQL、Linux等，大数据的框架安装在Linux操作系统上。

大数据开发工程师都需要学什么大数据课程?

第一、需要学习Java基础

很多人好奇学习大数据需不需要学Java，正确答案是需要。一方面Java是目前使用最为广泛的编程语言，它具有的众多特性，特别适合作为大数据应用的开发语言;另一方面Hadoop以及其他大数据处理技术很多都是用Java开发，例如Apache的基于Java的HBase和Accumulo以及 ElasticSearchas，因此学习Hadoop的一个首要条件，就是掌握Java语言编程。

第二、需要学习是Linux系统、Hadoop生态体系

大数据的整个框架是搭建在Linux系统上面的，所以要熟悉Linux开发环境。而Hadoop是一个开源的分布式计算+分布式存储平台，是一个大数据的基础架构，它能搭建大型数据仓库，PB级别数据的存储、处理、分析、统计等业务。在这一阶段，你必须要掌握Hadoop的核心组件，包括分布式文件系统HDFS、资源调度管理系统YARN以及分布式计算框架MapReduce。

第三、需要学习是分布式计算框架Spark&Storm生态体系

随着学习的深入，在具备一定的基础之后，你就需要学习Spark大数据处理技术、Mlib机器学习、GraphX图计算以及Strom技术架构基础和原理等知识。Spark无论是在性能还是在方案的统一性方面，都有着极大的优越性，可以对大数据进行综合处理：实时数据流处理、批处理和交互式查询。

未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、IT、金融、农业、通信等方面都有广泛应用，学习大数据开发就业前景广阔。

作者：正在简书上学习
链接：https://www.jianshu.com/p/f9cbac839161