继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

2018年互联网大数据之大数据潮流的主先锋Spark

慕神8447489
关注TA
已关注
手记 1134
粉丝 172
获赞 955

首先,跟大家简单说一下什么是大数据,没有百度的复杂,就是我自己总结的,有什么不对的地方,请大家指教!

webp

1、何为大数据?

大数据就是短时间内,快速产生大量的多种多样的有价值的数据。

2、Spark是什么?

Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算,提高了在大数据

环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大

量廉价硬件之上,形成集群。

3、Spark集群的安装与部署

Spark在生产环境中,主要部署在安装有Linux系统的集群中。在Linux系统中安装

Spark需要预先安装JDK、Scala等所需的依赖。由于Spark是计算框架,所以需要预先在

集群内有搭建好存储数据的持久化层,如HDFS、Hive、Cassandra等。最后用户就可以通

过启动脚本运行应用了。

webp

3.1在Linux集群上安装与配置Spark

3.1.1 安装JDK

3.1.2 安装Scala

3.1.3 配置SSH免密码登录

3.1.4 安装Hadoop

3.1.5 安装Spark

3.1.6 启动集群

3.2在Windows上安装与配置Spark

3.2.1 安装JDK

3.2.2 安装Cygwin

3.2.3 安装sshd并配置免密码登录

3.2.4 配置SSH免密码登录

3.2.5 配置Hadoop

3.2.6 配置Spark

3.2.7 运行Spark

PS:大家有什么想要分享的内容!可以在评论下方留言!!!

图文均为原创,旨在分享!



作者:A尚学堂Nancy老师
链接:https://www.jianshu.com/p/ffcaae9b7c4c


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP