配环境
1.etc/profile
export SPARK_HOME=/usr/local/spark/spark2.2export PATH=$SPARK_HOME/bin:$PATH
2.spark/conf/spark-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_161export SPARK_MASTER_HOST=127.0.0.1 #不是master-ip那是1.x版本的写法export HADOOP_HOME=/usr/local/hadoop/hadoop-2.8.3export SPARK_HOME=/usr/local/spark/spark2.2export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/nativeexport LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/:$LD_LIBRARY_PATH
3.spark-default.sh
spark.master spark://ubuntu:7077 #这里要注意spark.ui.port 4040#提交作业的默认UI，被占用的时候依次往下推
配置spark主要配置两个文件，一个是spark-env.sh这是spark的环境变量。另外一个是spark-defauts是每次提交作业的配置，可以不用配置，默认使用默认的配置或者提交作业的时候动态配置。
在启动sparkmaster和worker的时候，在sbin目录下用./形式启动，否则运行的是hadoop的命令，那样始终看不到master和worker
master 的端口和UI的端口不是一个端口
spark-default.conf中的spark UI port是每次提交作业默认的显示端口
整个spark的UI显示端口在8080
可能踩到的坑
（1）
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
在spark-env.sh中添加
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/:$LD_LIBRARY_PATH
（2）
WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master localhost:7077
打开web UI，8080端口的那个，看上面写的master地址和端口是多少，spark-default.sh中spark.mater的值就要写多少
(3)在pycharm中使用spark的pyspark时，需要在环境变量里面把spark的python文件路径和python文件夹下lib的py4压缩文件添加进去
作者：dpengwang
链接：https://www.jianshu.com/p/36d5b90f4842
随时随地看视频
