Spark安装及启动

• 相关源码

1 Spark环境安装

scala语言编写，提供多种语言接口，需要JVM。官方为我们提供了Spark 编译好的版本,可以不必进行手动编译。

Spark安装不难，配置需要注意，并且不一定需要Hadoop环境。

下载：

解压

tar zxvf spark-2.4.1-bin-hadoop2.7.tgz

2 Spark配置

• 配置前尽量先阅读官方文档，避免直接从网上找配置教程

• 要为节点设置好使用的内存，否则可能导致节点利用率低

• 注意spark中IP与端口号配置，以免UnknownHostException

官网配置

应用默认配置：

配置文件：

复制两份模板，开启自行配置：

单机环境配置

本地IP：

shell验证

bin/spark-shell

jps验证

75617 Master
79700 Jps
75684 Worker

4 实战Wordcount

4.1 Wordcount简介

◆ Wordcount 词频统计,是大数据分析中最为基础的一种任务 英文分词较容易,直接分割空格即可。

◆ 实现思路 首先将文件中所有的单词提取出来,然后合并相同单词

• 实现示意图

项目搭建

• 添加spark jar包

• 全选jar包,先左键选中第一个,再拉到最后shift,再左键最后一个实现全选.

• 新建类

• 测试文件

pwd/ls |grep L

• 编写函数

• 运行成功

• 打包

移除这些多余的jar包

• 构建

将jar包放到spark/bin目录下 使用 Spark-submit 运行

WebUI